Неофициальное обучение мощному набору данных airoboros 2.2.1 Джона Дурбина на модели Yi 34B Чарльза Годдарда, работающей на ламах, с целью привнести возможности следования инструкциям набора данных airoboros в новую базовую модель Yi 34B. В качестве модели 34B с групповым запросом пользователи смогут делать выводы по модели с 4-битным квантованием на одном потребительском графическом процессоре емкостью 24 ГБ. Эта модель Yi является «Llama-fied», что означает, что ключи переименованы в соответствии с теми, которые используются в моделях Llama, что устраняет необходимость в удаленном коде и обеспечивает совместимость с существующими хранилищами обучения и вывода. Архитектурно это похоже на модель Llama 2 34B с расширенным размером словарного запаса 64000. Эта модель переобучается благодаря вычислениям, предоставленным alpin с помощью обезьяньего патча тренеру для решения проблем с токенами EOS в подсказке. Использовались меньший размер партии и скорость обучения, а обучение было продлено на одну эпоху. Вместо qlora также использовалась 8-битная lora. Предполагаемый формат подсказки — это модифицированный формат инструкций Vicuna 1.1, используемый airoboros v2: модель обучалась с использованием аксолотла в качестве адаптера lora на 1 графическом процессоре A100 80 ГБ в течение 4 эпох, а затем была объединена с базовой моделью с помощью PEFT. Этот…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: llama, Yi, llama 2, en, text-generation-inference
Лайков: 6 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
