Mini-LLM — это преобразователь, предназначенный только для декодера параметров на 80 млн, обученный полностью с нуля с использованием специального токенизатора, специальной архитектуры и специального цикла обучения. Он разработан как минимальный LLM, ориентированный на образование и исследования, который демонстрирует, как современные компоненты LLM создаются комплексно. — AdamW (β1=0,9, β2=0,95, затухание веса=0,1) — Скорость обучения: 6e-4 (косинусный отжиг + прогрев) — Размер глобального пакета = 32 — Длина последовательности = 2048 — Накопление градиента = 8 Подсказка: «Python — это язык программирования, который» Выход: «Python — это язык программирования, который позволяет вести историю…» — Малая модель → ограниченное мышление, вероятны галлюцинации — Не настроено под инструкции. — Не подходит для промышленного использования. — Лучше всего рассматривать как артефакт для обучения и исследований. Лицензия MIT — бесплатна для исследований, модификаций и дальнейшего обучения. Разработано Авинашем Минампати. Создано с нуля с использованием PyTorch + специальный конвейер обучения. Вы можете: — Тренироваться дальше, используя свой собственный набор данных. — Добавлять адаптеры LoRA. — Использовать его для изучения внимания, RoPE, SwiGLU и т. д.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Ashx098
Теги: llm, decoder-only, transformer, from-scratch, research, educational, 80m, pretraining
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
