Квантование внимания: HQQ 4 бита, размер группы 64, нулевое сжатие, масштаб сжатия с размером группы 256 Экспертное квантование: HQQ 2 бита, размер группы 16, нулевое сжатие, масштабирование сжатия с размером группы 128
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: lavawolfiee
Теги: mixtral, text-generation-inference, conversational, en, fr, it, de, es
Лайков: 28 | Загрузок: 168
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
