Целью является создание языковой модели-трансформера, способной генерировать историю всего лишь с 600 тысячами параметров. — Архитектура Llama — GQA — скрытый размер = 128 — Использование встраивания связующих слов — vocabsize = 2048 (Обучение на TinystoriesV2 с нуля, с использованием BPE) — 2 слоя трансформеров
Модальности:
Генерация текста
Задача: Генерация текста
Автор: raincandy-u
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 32 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
