Llama 3.3 Swallow — это большая языковая модель (70B), созданная путем постоянного предварительного обучения на модели Meta Llama 3.3. Llama 3.3 Swallow расширила возможности японского языка по сравнению с оригинальной Llama 3.3, сохранив при этом возможности английского языка. Для непрерывного предварительного обучения мы используем около 315 миллиардов токенов, которые были выбраны из большого японского веб-корпуса (Swallow Corpus Version 2), статей японской и английской Википедии, а также математического содержания и содержания кодирования и т. д. (см. раздел «Наборы обучающих данных» базовой модели). Модели, настроенные по инструкциям (Instruct), были построены методом контролируемой точной настройки (SFT) на синтетических данных, специально созданных для японского языка. Другие варианты моделей см. в разделе «Указатель моделей Swallow». — 10 марта 2025 г.: выпущены Llama-3.3-Swallow-70B-Instruct-v0.4 и Llama-3.3-Swallow-70B-v0.4. — 30 декабря 2024 г.: выпущена Llama-3.1-Swallow-70B-Instruct-v0.3. — 23 декабря 2024 г.: выпущена версия Llama-3.1-Swallow-8B-Instruct-v0.3. — 11 ноября 2024 г.: выпущены Llama-3.1-Swallow-8B-v0.2 и Llama-3.1-Swallow-8B-Instruct-v0.2. — 8 октября 2024 г.: выпущены Llama-3.1-Swallow-8B-v0.1, Llama-3.1-Swallow-8B-Instruct-v0.1, Llama-3.1-Swallow-70B-v0.1 и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tokyotech-llm
Теги: llama, conversational, en, ja, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 223
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
