nanochat — это языковая модель преобразователя параметров с 561 МБ, предназначенная для диалоговых задач ИИ. Эта модель демонстрирует, что способные модели чата можно эффективно обучать при скромном аппаратном бюджете (~ 100 долларов США на 8 графических процессоров H100). Прочтите о процессе на https://samdobson.uk/posts/training-a-chatgpt-clone-for-cheap/. Пообщайтесь с моделью на https://huggingface.co/spaces/sdobson/nanochat – Разработчик: Андрей Карпати – Тренер: Сэм Добсон – Тип модели: Модель причинного языка на основе трансформатора – Язык(и): Английский – Лицензия: MIT – Параметры: 560 988 160 (~561M) — Слои: 20 — Скрытый размер: 1280 каналов — Головы внимания: 10 — Размер головы: 128 — Размер словаря: 65 536 токенов 1. Предварительное обучение: подмножество токенов 100B FineWeb-EDU (обработано 11,2 млрд токенов) 2. Промежуточное обучение: разговоры SmolTalk, Вопросы с множественным выбором MMLU, математические задачи GSM8K. 3. Контролируемая точная настройка (SFT): данные адаптации разговора. — Пользовательский токенизатор на основе Rust. — Словарь: 65 536 токенов. — Степень сжатия: 4,8 символов на токен. — Аппаратное обеспечение: 8 графических процессоров H100 (облако Lambda GPU). — Время обучения: ~ 3 часа для этапа предварительного обучения. — Предполагаемые вычисления: ~ 4e19 флопов. — Общая стоимость: ~100$. Модель обучалась в три этапа:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sdobson
Теги: transformer, conversational, en, model-index
Лайков: 29 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
