Shisa 7B (shisa-7b-v1) — это двуязычная модель чата общего назначения на японском и английском (JA/EN), целью которой является достижение высокой производительности японского языка при сохранении надежных возможностей английского языка с использованием подхода, основанного на синтетических данных. Эта модель основана на Mistral 7B со специальным расширенным токенизатором, оптимизированным для JA, который в два раза более эффективен на японском языке, чем оригинальный токенизатор Mistral. Базовая модель была предварительно обучена для дополнительных 8B, в основном японских токенов. Затем он был доработан с помощью расширенной, машинно переведенной версии airoboros-3.1, набора элементов с наивысшими оценками из ultrafeedback_binarized и дополнительных недавно сгенерированных данных airoboros непосредственно на целевые языки. Мы также выпускаем нашу базовую модель, наборы данных и код конвейера под разрешительной лицензией Apache 2.0, которую можно использовать для любых целей, коммерческих или иных: shisa-base-7b-v1 — наша базовая модель с расширенным токенизатором и дополнительным JA для предварительного обучения shisa-pretrain-en-ja-v1 — наш набор данных для предварительного обучения ultra-orca-boros-en-ja — синтетически сгенерированный, машинно переведенный и программно проверенный JA/EN набор данных тонкой настройки shisa-en-ja-dpo-v1 — небольшое подмножество пар DPO из…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: augmxnt
Теги: mistral, conversational, ja, en, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 657
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
