Квантованная модель AWQ с использованием https://github.com/casper-hansen/AutoAWQ.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: casperhansen
Теги: mistral, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 2 | Загрузок: 9,108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.