DS-Archive/airoboros-2.2.1-y34b - Каталог нейросетей
Генерация текста

DS-Archive/airoboros-2.2.1-y34b

Добавлено:

Неофициальное обучение на мощном наборе данных airoboros 2.2.1 Джона Дурбина с использованием модели Yi 34B Чарльза Годдарда, адаптированной под Llama, с целью перенести возможности выполнения инструкций, характерные для набора данных airoboros, в новую базовую модель Yi 34B. Поскольку это модель 34B с механизмом внимания с группировкой запросов, пользователи смогут выполнять инференс на модели с 4-битной квантизацией на одном потребительском графическом процессоре с 24 ГБ памяти. Эта модель Yi «адаптирована под Llama», то есть ключи переименованы в соответствии с ключами, используемыми в моделях Llama, что устраняет необходимость в удаленном коде и обеспечивает совместимость с существующими репозиториями для обучения и инференса. Архитектурно эта модель схожа с моделью Llama 2 34B с расширенным размером словаря 64 000. Эта модель была переобучена благодаря вычислительным ресурсам, предоставленным компанией alpin, с применением monkeypatch к тренеру для решения проблем с токеном EOS в промптере. Использовались меньший размер пакета и скорость обучения, а обучение было продлено на одну эпоху. Вместо qlora также использовался 8-битный lora. Предполагаемый формат промпта — это модифицированный формат инструкций Vicuna 1.1, используемый airoboros v2. Модель обучалась с использованием axolotl в качестве адаптера LoRA на 1 видеокарте A100 80 ГБ в течение 4 эпох, а затем была объединена с базовой моделью с помощью PEFT. Это…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: DS-Archive
Теги: llama, Yi, llama 2, en, text-generation-inference
Лайков: 2  |  Загрузок: 17

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.