Небольшой (~ 19.2M параметр) GPT только для декодера, обученный с нуля на TinyStories. Он пишет простые, связные детские истории и представляет собой компактный, взламываемый эталон для современных методов оптимизации архитектуры LLM — обученный сквозной за несколько минут на одном потребительском графическом процессоре (RTX 2060 Super, 8 ГБ). Эта контрольная точка использует полный рецепт в стиле modded-nanoGPT: оптимизатор Muon плюс QK-Norm squared-ReLU MLP logit soft-capping zero-init projections. Каждый метод был измерен A/B в 2060 году; вместе они снижают потери при валидации с 2,65 (простая базовая линия AdamW/SwiGLU) до 2,40 при тех же 3000 шагах. > Давным-давно жила-была маленькая девочка по имени Лили. Она любила играть со своими > игрушками и своей любимой игрушкой, игрушечным грузовиком. Однажды мама Лили сделала ей вкусный шоколадный торт, чтобы сделать ее счастливой. Друг Лили, Тимми, пришел поиграть… > Лили и Том пошли в парк и увидели большую собаку… — Мам, мам, собака идет! — > Лили плакала. — Собака не злая. Это было дружелюбно и дружелюбно. Он хочет играть с нами. «Это настраиваемая архитектура, поэтому вам нужен model.py из этого репозитория (small, dependency-light). Скачайте его рядом со скриптом, затем: — tinystories-25m.pt —…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: epoyraz
Теги: gpt, tinystories, from-scratch, rope, qk-norm, muon, multi-token-prediction, en
Лайков: 3 | Загрузок: 102
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
