Полный код предварительного обучения можно найти в этом репозитории Github: https://github.com/xTimeCrystal/MiniModel. На этой карточке модели представлен обзор MiniModel-200M-Base, высокоэффективного преобразователя, предназначенного только для декодера с 200 млн параметров, обученного с использованием самых современных методов для получения максимальных данных и эффективности вычислений. — Разработано: xTimeCrystal — Тип модели: преобразователь только для декодера Softmax — Языки: английский, китайский, Python — Лицензия: Apache 2.0 В этой модели используются передовые методы обучения для достижения высокой производительности с использованием всего 10 миллиардов токенов обучающих данных, обученных всего за один день на одном графическом процессоре RTX 5090. Как показано ниже, он справляется с разнообразными задачами — от фактического отзыва до последовательного создания статей — несмотря на свой небольшой размер. — Адаптивный оптимизатор Muon: основанный на оптимизаторе Muon, он обеспечивает эффективность обработки данных в 2,1 раза выше, чем у AdamW. Буферы Momentum хранятся в bfloat16, что еще больше снижает использование VRAM. — Агрессивная фильтрация данных: тщательно подобранный высококачественный образовательный контент повышает производительность в условиях ограниченных ресурсов. — Эффективная упаковка данных: чтобы свести к минимуму потери заполнения (изначально >70%), последовательности были объединены с помощью алгоритма упаковки данных, чтобы достичь…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: xTimeCrystal
Теги: en, zh
Лайков: 30 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
