Это первая контрольная точка (Эпоха 1) Mixsmol-4x400M-v0.1. Обратите внимание, что это эксперимент по смешиванию данных. Поэтому мы обучили модель только на 50 миллиардах токенов (95% на английском и 5% на вьетнамском языке), чтобы проверить следующее: — Возможности понимания посредством предварительной подготовки данных из высококачественных синтетических учебников — Межъязыковое понимание посредством машинного перевода и многоязычного + предварительное обучение с несколькими задачами. После проверки нашей гипотезы с помощью этого прогона мы запланируем второй прогон на более крупных данных и вычислим его для достижения максимальных возможностей. — Синтетические учебники: 8 миллионов образцов — RefinedWeb: 1 миллион образцов — RedPajama-v2: 500 тысяч образцов — MathPile: все — ThePile: подмножество MiniPile — GoodWiki — The Stack Smol XL — The Vault: разделение train_small — Предварительное обучение инструкций: 250 тысяч образцов
Модальности:
Генерация текста
Задача: Генерация текста
Автор: vilm
Теги: mixtral, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 80
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
