Мы рады объявить о выпуске облегченной версии моделей серии Index: серии Index-1.9B. Серия Index-1.9B с открытым исходным кодом включает в себя следующие модели: — База Index-1.9B: базовая модель с 1,9 миллиардами невстраиваемых параметров, предварительно обученная на корпусе 2,8T, в основном на китайском и английском языках. Он лидирует по множеству оценочных тестов по сравнению с моделями того же уровня. — Index-1.9B pure (модель из этого репозитория): контрольная версия базовой модели с теми же параметрами и стратегией обучения, но со строгой фильтрацией всех данных, связанных с инструкциями, из корпуса для проверки влияния инструкций на тесты. — Чат Index-1.9B: модель диалога, согласованная с SFT и DPO, на основе базы Index-1.9B. Мы обнаружили, что благодаря введению большого количества корпусов интернет-сообществ в нашу предварительную подготовку модель имеет значительно более интересные возможности общения в чате. — Персонаж Index-1.9B: добавляет RAG поверх SFT и DPO для достижения индивидуальной настройки ролевой игры с несколькими кадрами. Для получения более подробной информации см. наш GitHub и технический отчет Index-1.9B. Index-1.9B показывает отличные результаты в оценках общего понимания, опережая по сравнению с недавним…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IndexTeam
Теги: index, custom_code
Лайков: 5 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
