Это экспериментальная модель чата Llama2-7B с 1-битным квантованием (двоичные веса) HQQ, использующая адаптер низкого ранга для улучшения производительности (называемый HQQ+). Квантование небольших моделей с экстремально низкими битами является сложной задачей. Цель этой модели — показать сообществу, чего ожидать при точной настройке таких моделей. Мы заметили, что 1-битное квантование не работает должным образом, если оно применяется непосредственно к небольшим моделям, таким как Llama2-7B. Однако при точной настройке производительность модели значительно улучшается. Фактически, 1-битная базовая модель превосходит 2-битную модель Quip# после точной настройки на ~ 2,8 тыс. выборок. Обратите внимание, что веса здесь беззнаковые 1 бит (0 или 1), а не троичные, как в недавней 1,58-битной работе. Это более сложная задача, поскольку мы теряем знак весов и настраиваем только небольшую часть параметров (весов около 94 МБ). Шаг деквантования можно переписать как 1-битный matmul, который потенциально может потребовать только сложения + matmul очень низкого ранга, который быстро вычисляется. Эта версия выгружает метаданные в ЦП, поэтому в памяти графического процессора сохраняются только двоичные веса и адаптеры низкого ранга. Адаптер был обучен с помощью SFT на случайных подмножествах следующих элементов:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama, conversational
Лайков: 74 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
