Наша модель Swallow-MX-8x7b-NVE-v0.1 прошла постоянное предварительное обучение с помощью Mixtral-8x7B-Instruct-v0.1, в основном с добавлением данных на японском языке. Тип модели: Подробную информацию об архитектуре модели см. в техническом отчете Mixtral. Язык(и): Японский Английский Токенизатор: в этой модели используется тот же токенизатор, что и в Mixtral-8x7B-Instruct-v0.1. Контакт: Swallow[at]nlp.c.titech.ac.jp Обратите внимание, что Swallow-MX-8x7b-NVE-v0.1 не является производным от Mixtral-8x7B-v0.1, а прошел предварительное обучение на основе Mixtral-8x7B-Instruct-v0.1. Следующие наборы данных использовались для непрерывного предварительного обучения. — Алгебраический стек — Японская Википедия — RefinedWeb — Корпус Swallow — The Pile — The Vault Представленные здесь модели все еще находятся на ранних стадиях наших исследований и разработок и не настроены для обеспечения соответствия результатов человеческим намерениям и соображениям безопасности. Мы благодарим Mistral AI за выпуск Mixtral-8x7B-Instruct-v0.1 под открытой лицензией, которую могут использовать другие. Наш проект поддерживается Программой поддержки создания крупномасштабных языковых моделей ABCI Национального института передовых промышленных наук и технологий. Вот команда…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tokyotech-llm
Теги: mixtral, en, ja, text-generation-inference, endpoints_compatible
Лайков: 29 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
