Shisa V2.1 — это обновление нашего семейства двуязычных японских и английских (JA/EN) моделей чата общего назначения, обученных Shisa.AI. Эти модели направлены на то, чтобы преуспеть в задачах на японском языке, сохраняя при этом надежные навыки английского языка. После выпуска нашей модели Shisa V2 405B мы передискретизировали новую версию нашего набора данных Shisa V2 и обнаружили заметный рост производительности. Версия 2.1 начиналась как «быстрое» обновление с этим и некоторыми другими исправлениями данных, но привела к обновлениям и улучшениям почти всех наших наборов данных Shisa V2, а также нескольким новым дополнениям для лучшего следования инструкциям, перевода, вежливости и других улучшений на японском языке. Помимо перенастроенных рецептов SFT и DPO, некоторые из этих новых моделей также включают дополнительные этапы слияния моделей и RL. Первоначальный выпуск Shisa V2.1 включает в себя улучшенные версии наших самых популярных моделей классов 14B и 70B, а также новые модели с размерами 1.2B, 3B и 8B, подходящие для локальных и граничных вариантов использования. Каждый из них имеет лучшую в своем классе производительность на японском языке в своем размере. Разработка модели Shisa V2.1 велась на основе последней версии (V2.1) нашей внутренней многовековой тестовой батареи и напрямую не…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: shisa-ai
Теги: llama, shisa, axolotl, trl, conversational, ja, en
Лайков: 3 | Загрузок: 333
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
