Это полностью 4-битная (размер группы = 64) квантованная модель HQQ Llama3.1-8B-Instruct. Мы предоставляем две версии: Версия без калибровки: https://huggingface.co/mobiuslabsgmbh/Llama-3.1-8b-instruct4bitgs64hqq/ Калиброванная версия: https://huggingface.co/mobiuslabsgmbh/Llama-3.1-8b-instruct4bitgs64hqq_calib/ Вы можете воспроизвести приведенные выше результаты с помощью установки pip. lm-eval==0.4.3 Кроме того, убедитесь, что вы используете по крайней мере torch 2.4.0 или ночную сборку с CUDA не ниже 12.1.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: dropbox-dash
Лайков: 55 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
