RakutenAI-7B — это систематическая инициатива, которая приносит новейшие технологии в мир японских LLM. RakutenAI-7B достигает лучших результатов в тестах на понимание японского языка, сохраняя при этом конкурентоспособную производительность на наборах тестов по английскому среди аналогичных моделей, таких как OpenCalm, Elyza, Youri, Nekomata и Swallow. RakutenAI-7B использует архитектуру модели Mistral и основан на предварительно обученной контрольной точке Mistral-7B-v0.1, что является примером успешной модернизации весов предварительно обученной модели. Более того, мы расширяем словарный запас Mistral с 32 тыс. до 48 тыс., чтобы обеспечить лучшее соотношение символов на токен для японского языка. Если вы ищете модель, настроенную по инструкциям, проверьте RakutenAI-7B-instruct. Если вы ищете модель с настройкой чата, проверьте RakutenAI-7B-chat. Таблица 1. Характеристики базовой модели RakutenAI-7B по японским показателям LM-Harness по сравнению с другими моделями. Наша модель получила наивысший средний балл, опережая следующую лучшую модель более чем на 3 балла. Модели отсортированы по 7-Avg. Мы используем следующий коммит https://github.com/Stability-AI/lm-evaluation-harness/tree/0fa86429679f521161d5b81a94c0c385e0a0976d для японского LM-Harness с подсказкой v0.3…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Rakuten
Теги: mistral, en, ja, text-generation-inference, endpoints_compatible
Лайков: 52 | Загрузок: 246
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
