Модель SmolLM2-70M, предварительно обученная на педагогическом наборе данных Sutra-10B в течение 3 эпох (всего ~ 30,6B токенов). Эта модель демонстрирует, что модель ПАРАМЕТРОВ 69M может быть обучена до производительности, близкой к производительности, с использованием плотных, кураторских образовательных данных. Модель обучалась в течение 3 эпох на наборе данных Sutra-10B с использованием одного графического процессора NVIDIA L40S (46 ГБ). Этот контрольно-пропускной пункт является лучшим контрольно-пропускным пунктом недоумения эпохи 3. Конфигурация обучения: — Оптимизатор: AdamW (сплавленный), снижение веса 0.1 — График: Cosine с прогревом — Размер партии: 4 на устройство, накопление градиента 8 (эффективный ~262K жетонов/шаг) — Длина последовательности: 8,192 — Flash Внимание 2, TF32 matmul, torch.compile — Пропускная способность: ~110K жетонов/сек Все тесты оцениваются с помощью lm-оценки жгута проводов v0.4.11. Все задания 0-снимок, кроме GSM8K (5-снимок). Это результаты обучения одной и той же модели SmolLM2-70M на различных наборах данных 1B-токенов из коллекции образцов набора данных для предварительного обучения за 1 эпоху, показывающие, что Sutra-10B в 3 эпохи достигает наивысшей производительности для этого размера модели. 1. Потолок пропускной способности: 70-МЕТРОВАЯ модель параметров достигает своего потолка пропускной способности примерно в 10B токенов. Дополнительные эпохи (до 30,6 млрд токенов) дают лишь незначительную…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: codelion
Теги: llama, pretraining, educational, pedagogical, sutra, smollm2, en, model-index
Лайков: 3 | Загрузок: 458
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
