> Wydanie eksperymentalne / Experimental release. Model nie jest > przeznaczony do zastosowań produkcyjnych ani wysokiego ryzyka. Cały model > pozostaje poniżej 128M parametrów. / The model is not intended for production > or high-risk use. The complete model remains below 128M parameters. Pollock to niewielki, anglojęzyczny model bazowy typu decoder-only, wytrenowany od zera jako czytelny eksperyment edukacyjny. Implementacja bazuje na nanoGPT i własnym tokenizerze byte-level BPE. Jest to model do uzupełniania tekstu, nie asystent konwersacyjny. R008 zastępuje klasyczny blok GELU MLP blokiem SwiGLU dopasowanym do tego samego budżetu poniżej 128M parametrów. Tokenizer, korpus, kontekst, liczba warstw, szerokość modelu, attention i effective batch pozostają zgodne z R007. Pełna historia techniczna znajduje się w training-history/r008.md, a różnice między wydaniami w CHANGELOG.md. Model używa własnej klasy Transformers PollockForCausalLM, ponieważ standardowy GPT2LMHeadModel nie implementuje tego wariantu SwiGLU. Wybrany checkpoint z aktualizacji 32 000 ma SHA-256 25b8cac7d5142c75e1be0b42fa24d980896e6f911e912c883566747a3baa56f0. Konwersja w Transformers 5.15.1 wykazała maksymalną…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SlayerLab
Теги: pollock, causal-lm, gpt2, nanogpt, swiglu, bpe, educational, base-model
Лайков: 3 | Загрузок: 295
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
