Небольшая модель декодера параметров (всего) на 220 МБ. Это первая версия модели. — Скрытый размер 1024, 10 слоев — GQA (32 головы, 8 ключей-значений), длина контекста 2048 — Обучение с нуля на одном графическом процессоре 🙂 Вот несколько тонких настроек, которые мы сделали, но есть еще много возможностей! — инструкция — openhermes — ссылка — open-instruct — ссылка — код — python (pypi) — ссылка — настройка Zephyr DPO — SFT — ссылка — полный DPO — ссылка
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BEE-spoke-data
Теги: llama, smol_llama, llama2, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 13 | Загрузок: 465
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
