Это экспериментальная полностью 2-битная (размер группы = 64) квантованная модель HQQ Llama3-8B-Instruct. Известно, что Llama3-8B относительно сложно квантовать, особенно в младших битах, как указано https://arxiv.org/abs/2404.14047. Эта 2-битная модель была откалибрована с помощью адаптера низкого ранга (HQQ+) для значительного улучшения качества, поскольку однократное квантование с 2 битами приводит к значительной потере качества. Более того, эта модель полностью совместима с BitBlas и torch.compile для быстрого вывода. Хотя это значительно лучше, чем лучшая 2-битная модель Llama3-8B, описанная в https://arxiv.org/abs/2404.14047 (DB-LLM: 42.1 для HellaSwag и 60.4 для Winograde), похоже, что на самом деле лучше вместо этого просто использовать 4-битный чат Llama2-7B.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: dropbox-dash
Лайков: 10 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
