Трансформатор с 12,3 миллионами параметров, предназначенный только для декодера (в стиле GPT), обученный на Node.js с помощью @mni-ml/framework в корпусе TinyStories с использованием токенизатора ByteLevel BPE в стиле HuggingFace (вокаб 4096). Исходный код, сценарии обучения и утилиты подготовки данных находятся на github.com/mni-ml/transformer. > Виджет вывода ВЧ для этой модели отключен. Он использует собственную среду выполнения Node.js > (@mni-ml/framework), а не преобразователи, поэтому виджет не может ее загрузить. > См. раздел «Локальный запуск» ниже. Стандартный преобразователь только для декодера в стиле GPT с блоками предварительной нормы, причинным самообслуживанием, обучаемыми встраиваниями позиций и выходной головкой с привязкой к весу. Полная конфигурация также встроена в model-final.json под ключом конфигурации и автоматически считывается скриптами генерации. Поскольку в этой модели используется пользовательская среда выполнения JS, для выполнения вывода потребуются три компонента: платформа npm и два исходных файла (src/generate.js и src/bpe.js) из репозитория GitHub. — Node.js ≥ 22.18 (требуется @mni-ml/framework) — git (для получения исходных файлов) и hf CLI (для загрузки весов) > ⚠️ 5-й аргумент (tokenizerpath) фактически необходим при использовании этой общедоступной контрольной точки. model-final.json внутренне записывает путь >…
Модальности:
Генерация текста
Языки программирования:
JavaScript
Задача: Генерация текста
Автор: mni-ml
Теги: mni-ml-framework, transformer, gpt, javascript, nodejs, bpe, tinystories, en
Лайков: 13 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
