TinyGPT StoryGPT is a small GPT-style decoder-only transformer trained from scratch for children’s story generation, with an instruction-tuned checkpoint for simple prompt-following. This is a custom PyTorch model, not a Hugging Face Transformers GPT-2 checkpoint. Use the included model.py, tokenizer.py, and storyGPT.py files to load and run it. — Architecture: decoder-only transformer — Vocabulary size: 8000 — Context window: 512 tokens — Embedding size: 512 — Attention heads: 8 — Layers: 8 — Parameters: 29,541,376 — Tokenizer: custom BPE tokenizer — Base model file: storymodel.pth — Instruction model file: instructcheckpoints/instructmodel.pth ` The instruction checkpoint metadata reports epoch 8, loss 1.1102, vocabulary size 8000, and context window 512. — model.py — определение модели трансформера — tokenizer.py — пользовательский токенизатор BPE — tokenizer.json — словарь обученного токенизатора и слияния — storyGPT.py — интерактивная генерация CLI — api.py — сервер Flask API — storymodel.pth — контрольная точка базовой модели истории — instructcheckpoints/instructmodel.pth` — контрольная точка, настроенная на инструкции. Это экспериментальная небольшая модель. Она может приводить к повторениям, фактическим ошибкам, некорректному форматированию и т.д.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: wasifali1
Теги: story-generation, gpt, custom-code, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
