GPT с 62 миллионами параметров, предварительно обученный и настроенный с помощью инструкций, полностью на одном устройстве NVIDIA Jetson с 8 ГБ ОЗУ, без облачной инфраструктуры или установок с несколькими графическими процессорами. Контрольная точка, ориентированная на чат, для коротких взаимодействий по инструкциям. G0-nano-instruct — это настроенная на инструкции версия модели G0 Nano. Как предварительное обучение, так и контролируемая точная настройка выполнялись при ограничении единой памяти объемом 8 ГБ. Модель намеренно маленькая. Его цель — продемонстрировать полный рабочий процесс обучения с нуля на скромном оборудовании, а не конкурировать с гораздо более крупными языковыми моделями в области обширных фактических знаний. Необработанная предварительно обученная версия той же модели доступна как G0-nano-base. По сравнению с G0-nano-base, эта контрольная точка добавляет контролируемую точную настройку инструкций и формат чата. Он предназначен для коротких одноразовых взаимодействий, а не для долгих разговоров. — Данные предварительного обучения: около 1,5 млрд токенов английского веб-текста и текста книг. — Источники: FineWeb-Edu, BookCorpus, OpenWebText, PG-19 и WikiHow. — Настройка инструкций: очищенные данные инструкций/ответов Alpaca. — Цель: прогнозирование причинного следующего токена с последующей контролируемой точной настройкой инструкций. — Оборудование для обучения: один NVIDIA Jetson…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: AZERDSQ
Теги: g0nano, causal-lm, from-scratch, custom-code, gqa, rope, instruction-tuning, custom_code
Лайков: 5 | Загрузок: 128
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
