Мы рады объявить о выпуске облегченной версии моделей серии Index: серии Index-1.9B. Серия Index-1.9B с открытым исходным кодом включает в себя следующие модели: — База Index-1.9B: базовая модель с 1,9 миллиардами невстраиваемых параметров, предварительно обученная на корпусе 2,8T, в основном на китайском и английском языках. Он лидирует по множеству оценочных тестов по сравнению с моделями того же уровня. — Index-1.9B pure: контрольная версия базовой модели с теми же параметрами и стратегией обучения, но со строгой фильтрацией всех данных, связанных с инструкциями, из корпуса для проверки влияния инструкций на тесты. — Чат Index-1.9B (модель этого репозитория): модель диалога, согласованная с SFT и DPO, на основе базы Index-1.9B. Мы обнаружили, что благодаря введению большого количества корпусов интернет-сообществ в нашу предварительную подготовку модель имеет значительно более интересные возможности общения в чате. — Персонаж Index-1.9B: добавляет RAG поверх SFT и DPO для достижения индивидуальной настройки ролевой игры с несколькими кадрами. Более подробную информацию можно найти в нашем техническом отчете GitHub и Index-1.9B. Вы можете загрузить модель Index-1.9B-Chat для диалога, используя следующий код:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: IndexTeam
Теги: index, conversational, custom_code
Лайков: 53 | Загрузок: 110
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
