> Статус (22 октября 2025 г., 23:30 по московскому времени): Ой, снова! Файлы токенизатора в Hub не синхронизированы с весами, поэтому HarleyCooper/nanochat561 в настоящее время выдает тарабарщину при выводе, и я не уверен, что это можно исправить. Этот пакет предназначался для использования вместе с пользовательскими модулями токенизатора/модели Karpathy (trustremotecode=True). Во время дюжины настроек, которые я предпринял, я также несколько раз менял метаданные токенизатора, поэтому маринованный токенизатор и веса модели не синхронизировались. Кроме того, я не могу найти исходные контрольные точки .pt. «Ой, я думал, что у меня есть преобразователь вывода пользовательской модели в HF, но он не работает. Вы можете запустить локально или в HF Spaces, который я размещу, Gradio или вывод, который Карпати построил прямо из коробки. — Кристиан» Опубликованная контрольная точка Nanochat представляет собой 20-слойный преобразователь с 560 988 160 обучаемыми параметрами. Подсчет происходит из: Встраивания не связаны, поэтому входной поиск и выходная головка вносят одни и те же ~ 84 миллиона параметров, в то время как каждый из 20 блоков декодера предоставляет ~ 19,7 миллиона параметров, разделенных между весами внимания (6,6 миллиона) и MLP (13,1 миллиона). nanochat — это полнофункциональная реализация языковой модели, подобной ChatGPT, обученной с нуля в едином, чистом,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HarleyCooper
Теги: nanochat, gpt, transformer, chatbot, educational, custom_code, en, model-index
Лайков: 6 | Загрузок: 42
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
