Это экспериментальная модель 2-битного квантованного чата HQQ Llama2-7B, использующая адаптер низкого ранга для улучшения производительности (называемый HQQ+). Квантование небольших моделей с экстремально низкими битами является сложной задачей. Цель этой модели — показать сообществу, чего ожидать при точной настройке таких моделей. Мы замечаем, что при наличии более специализированных данных низкоразрядная модель может даже превосходить модель полной точности при выполнении некоторых задач. Эта версия выгружает метаданные в ЦП, поэтому в памяти графического процессора сохраняются только 2-битные веса и адаптеры низкого ранга. Адаптер был обучен с помощью SFT на случайных подмножествах следующих элементов: timdettmers/openassistant-guanaco (full) microsoft/orca-math-word-problems-200k (10K) Meta-math/MetaMathQA (10K) HuggingFaceH4/ultrafeedbackbinarized (10K — только выбранные ответы)
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: llama, conversational
Лайков: 36 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
