Llama 3.1 Swallow — это серия больших языковых моделей (8B, 70B), созданных путем постоянного предварительного обучения на моделях Meta Llama 3.1. Llama 3.1 Swallow расширила возможности японского языка по сравнению с оригинальной Llama 3.1, сохранив при этом возможности английского языка. Для постоянного предварительного обучения мы используем около 200 миллиардов токенов, отобранных из большого японского веб-корпуса (Swallow Corpus Version 2), статей японской и английской Википедии, а также материалов по математике и программированию и т. д. Модели, настроенные по инструкциям (Instruct), были построены методом контролируемой точной настройки (SFT) на синтетических данных, специально созданных для японского языка (подробнее см. в разделе «Наборы обучающих данных»). Другие варианты моделей см. в разделе «Указатель моделей Swallow». — 8 октября 2024 г.: выпущены Llama-3.1-Swallow-8B-v0.1, Llama-3.1-Swallow-8B-Instruct-v0.1, Llama-3.1-Swallow-70B-v0.1 и Llama-3.1-Swallow-70B-Instruct-v0.1. На веб-сайте https://swallow-llm.github.io/ представлены большие языковые модели, разработанные командой Swallow. Тип модели: Подробную информацию об архитектуре модели см. в Llama 3.1 MODELCARD. Язык(и): Японский Английский Библиотека: Токенизатор Megatron-LM: См. Llama 3.1…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tokyotech-llm
Теги: llama, en, ja, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 53
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.