Этот репозиторий имеет тонко настроенные (Mid SFT) контрольные точки karpathy/nanochat-d34, обученные с использованием фреймворка nanochat. — Базовая модель: karpathy/nanochat-d34 (параметры 2.2B, предварительно обученные на токенах 88B) — Архитектура: трансформатор в стиле GPT с глубиной=34 — Тренировочный конвейер: средний тренировочный → SFT → RL (опционально) — Аппаратное обеспечение: 8x графических процессоров A100-80GB — Параметры: 2,217,082,880 — Тренировочные токены: 88,683,315,200 (40x параметр: отношение токенов) — Максимальная длина последовательности: 2048 — Базовый балл ЯДРА: 0.3382 Это тот же smol-smoltalk, который упоминается в обсуждении 1 Karpathy OG nanochat. Mid-training: Общая настройка инструкций на SmolTalk, MMLU, GSM8K, орфографические задания 2. SFT (Supervised Fine-Tuning): Чат-специфический тренинг по ARC, GSM8K, SmolTalk 3. RL (обучение с подкреплением): дополнительное обучение в стиле GRPO по GSM8K (если включено) — Андрей Карпатия для фреймворка nanochat и предварительно обученной базовой модели
Модальности:
Генерация текста
Области применения:
Диалог / чат Математика
Задача: Генерация текста
Автор: pankajmathur
Теги: nanochat, gpt, conversational, finetuned, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
