Exllama v2 quant of Doctor-Shotgun/Mixtral-8x7B-Instruct-v0.1-limarp Branches: — main: measurement.json calculated at 2048 token calibration rows on exl2 default calibration dataset — 3.5bpw-h6: 3.5 decoder bits per weight, 6 head bits — ideal for 24gb VRAM — 6.0bpw-h6: 6 decoder bits per weight, 6 head bits — ideal for 48gb VRAM
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: DS-Archive
Теги: mixtral, en
Лайков: 3 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.