Shisa V2 — это семейство двуязычных японских и английских (JA/EN) моделей чата общего назначения, обученных Shisa.AI. Эти модели нацелены на то, чтобы преуспеть в задачах по японскому языку, сохраняя при этом надежные навыки владения английским языком. Со времени наших первых выпусков Shisa 7B базовые возможности японских языковых моделей с открытым кодом значительно улучшились. Новые модели имеют больше японских токенов предварительного обучения, более высокую эффективность токенизатора JA и в целом лучшее качество японских выходных данных. Таким образом, в Shisa V2 мы отказались от расширения токенизатора и дорогостоящего постоянного предварительного обучения и полностью сосредоточились на оптимизации постобучения. Мы значительно расширили и усовершенствовали подход на основе синтетических данных, впервые использованный в наших оригинальных моделях Shisa 7B, и добились существенного повышения производительности. Семейство Shisa V2 включает ряд моделей размером от 7B до 70B: все эти модели Shisa V2 были обучены с использованием одних и тех же наборов данных и рецептов обучения, за исключением масштабирования скорости обучения в зависимости от размера модели и изменения глобального размера пакета для модели 70B. Хотя большая часть наших разработок и настроек была выполнена на модели Llama 3.1 8B, во время этого мы провели некоторую перекрестную проверку…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: shisa-ai
Теги: tensorboard, mistral, conversational, ja, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 160
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
