Неофициальное обучение на мощном наборе данных airoboros 2.2.1 Джона Дурбина с использованием модели Yi 34B Чарльза Годдарда, адаптированной под Llama, с целью перенести возможности выполнения инструкций, характерные для набора данных airoboros, в новую базовую модель Yi 34B. Поскольку это модель 34B с механизмом внимания с группировкой запросов, пользователи смогут выполнять инференс на модели с 4-битной квантизацией на одном потребительском графическом процессоре с 24 ГБ памяти. Эта модель Yi «адаптирована под Llama», то есть ключи переименованы в соответствии с ключами, используемыми в моделях Llama, что устраняет необходимость в удаленном коде и обеспечивает совместимость с существующими репозиториями для обучения и инференса. Архитектурно эта модель схожа с моделью Llama 2 34B с расширенным размером словаря 64 000. Эта модель была переобучена благодаря вычислительным ресурсам, предоставленным компанией alpin, с применением monkeypatch к тренеру для решения проблем с токеном EOS в промптере. Использовались меньший размер пакета и скорость обучения, а обучение было продлено на одну эпоху. Вместо qlora также использовался 8-битный lora. Предполагаемый формат промпта — это модифицированный формат инструкций Vicuna 1.1, используемый airoboros v2. Модель обучалась с использованием axolotl в качестве адаптера LoRA на 1 видеокарте A100 80 ГБ в течение 4 эпох, а затем была объединена с базовой моделью с помощью PEFT. Это…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: DS-Archive
Теги: llama, Yi, llama 2, en, text-generation-inference
Лайков: 2 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.