Модель GPT-2 с 70 миллионами параметров, обученная на 1 миллиарде токенов с использованием оптимизированной стратегии смешивания наборов данных 50-30-20. Эта модель демонстрирует эффективность тщательного составления набора данных для эффективной предварительной подготовки языковой модели. Несмотря на использование в 10 раз меньше обучающих данных, чем GPT-2 (токены 1B против 10B), он обеспечивает конкурентоспособную производительность за счет оптимального сочетания высококачественных источников данных. Архитектура: GPT-2 — Параметры: 70M (обучаемые 64,09M) — Слои: 12 — Скрытый размер: 512 — Внимание: 8 — Длина контекста: 1024 токена — Размер словаря: 50 257 Модель была обучена на 1 миллиарде токенов со следующим составом: — 50% — FinePDFs (500M токенов): высококачественный PDF-контент — 30% — базовый уровень DCLM (300 млн токенов): отфильтрованный веб-контент — 20% — FineWeb-Edu (200 млн токенов): образовательный веб-контент. В результате систематических экспериментов соотношение смешивания 50-30-20 было определено как оптимальное для сбалансированной производительности в нескольких доменах. — Общее количество токенов: 1 000 000 000 — Размер пакета: 24 (эффективный: 120 с градиентным накоплением) — Скорость обучения: 5e-4 → 5e-5 (косинусное затухание) — Шаги прогрева: 162 (2% от общего числа) — Точность: BFloat16 — Оптимизатор: AdamW — Итоговые потери: 2,92 — Разрыв в производительности: только…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: codelion
Теги: gpt2, dataset-mixing, pretraining, en, model-index
Лайков: 21 | Загрузок: 160
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
