Llama 3.1 Swallow — это серия больших языковых моделей (8B, 70B), созданных путем постоянного предварительного обучения на моделях Meta Llama 3.1. Llama 3.1 Swallow расширила возможности японского языка по сравнению с оригинальной Llama 3.1, сохранив при этом возможности английского языка. Мы используем около 200 миллиардов токенов, которые были выбраны из большого японского веб-корпуса (Swallow Corpus Version 2), статей японской и английской Википедии, а также математического контента и содержания кодирования и т. д. (см. раздел «Наборы обучающих данных» базовой модели) для непрерывного предварительного обучения. Модели, настроенные по инструкциям (Instruct), были построены методом контролируемой точной настройки (SFT) на синтетических данных, специально созданных для японского языка. Другие варианты моделей см. в разделе «Указатель моделей Swallow». — 25 июня 2025 г.: выпущены Llama-3.1-Swallow-8B-Instruct-v0.5 и Llama-3.1-Swallow-8B-v0.5. — 10 марта 2025 г.: выпущены Llama-3.3-Swallow-70B-Instruct-v0.4 и Llama-3.3-Swallow-70B-v0.4. — 30 декабря 2024 г.: выпущена Llama-3.1-Swallow-70B-Instruct-v0.3. — 23 декабря 2024 г.: выпущена версия Llama-3.1-Swallow-8B-Instruct-v0.3. — 11 ноября 2024 г.: выпущены Llama-3.1-Swallow-8B-v0.2 и Llama-3.1-Swallow-8B-Instruct-v0.2. — 08 октября 2024 г.:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tokyotech-llm
Теги: llama, conversational, en, ja, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 3,032
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
