Bazowy model językowy (pretraining, model bazowy — NIE chatbot) dla języka polskiego. 110M parametrów, architektura GPT-2, wytrenowany od zera na konsumenckiej karcie AMD Radeon RX 7900 XTX (ROCm/WSL2, Windows) — bez NVIDII, bez chmury. > To model completion: dostaje początek tekstu i kontynuuje najbardziej prawdopodobny ciąg. > Nie odpowiada na pytania jak asystent — do rozmowy/trzymania tematu wymaga osobnego fine-tuningu instrukcyjnego. Wszystko poniżej pochodzi ze skryptu treningu i logu biegu tego modelu; wartości, których log nie zapisał, są oznaczone jako niezapisane. Skrypt: train125m.py w tym repozytorium (kopia pliku o sha256 a7fc85ad5352a2e7… z lokalnymi ścieżkami domyślnymi zamienionymi na ./… i wczytywaniem checkpointów przy wznowieniu przez torch.load(…, weightsonly=True); bez innych zmian). Jeden proces na jednej karcie AMD Radeon RX 7900 XTX (24 GB), ROCm na WSL2. Ten model (v1): — Dane: dynaword-expansion (HPLT v3.0 polLatn), 1 354 902 613 tokenów; 1 epoka. — 41 348 kroków (rozgrzewka 413); wydany checkpoint = krok 41 348. — Gradient accumulation: niezapisane w logu. Dokładna komenda: niezapisana; domyślne argumenty skryptu z —data ` dają konfigurację z logu. -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Maggio33
Теги: gpt2, polish, base-model, from-scratch, amd-rocm, pl, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 418
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
