Это версия модели Mixtral-8x7B-v0.1 (https://huggingface.co/mistralai/Mixtral-8x7B-v0.1), квантованная смесью 4-битных и 2-битных сигналов посредством полуквадратичного квантования (HQQ). Точнее, уровни внимания квантуются до 4 бит, а эксперты — до 2 бит. Это простое изменение приводит к значительному улучшению недоумения по сравнению с полностью 2-битной моделью (4,69 против 5,90) при небольшом увеличении размера модели (18,2 ГБ против 18 ГБ). Эту идею предложили Артём Елисеев (@lavawolfiee) и Денис Мазур (@dvmazur) в дискуссии на Github. Вы можете воспроизвести модель, используя следующие конфигурации квантов:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: mixtral, moe
Лайков: 7 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
