Shisa V2 — это семейство двуязычных японских и английских (JA/EN) моделей чата общего назначения, обученных Shisa.AI. Эти модели нацелены на то, чтобы преуспеть в задачах по японскому языку, сохраняя при этом надежные навыки владения английским языком. Со времени наших первых выпусков Shisa 7B базовые возможности японских языковых моделей с открытым кодом значительно улучшились. Новые модели имеют больше японских токенов предварительного обучения, более высокую эффективность токенизатора JA и в целом лучшее качество японских выходных данных. Таким образом, в Shisa V2 мы отказались от расширения токенизатора и дорогостоящего постоянного предварительного обучения и полностью сосредоточились на оптимизации постобучения. Мы значительно расширили и усовершенствовали подход на основе синтетических данных, впервые использованный в наших оригинальных моделях Shisa 7B, и добились существенного повышения производительности. Llama 3.1 Shisa V2 405B1 — это немного особенная версия Shisa V2. Очевидно, что он самый крупный, использует Llama 3.1 405B Instruct в качестве базовой модели и требует в 50 раз больше вычислений для SFT+DPO по сравнению с версией 70B. Хотя он использует тот же набор данных на японском языке, что и другие модели Shisa V2, он также содержит некоторые смешанные данные на языках KO и ZH-TW. В частности, Shisa V2 405B не только…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: shisa-ai
Теги: llama, conversational, ja, en, ko, zh, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
