Это версия модели Mixtral-8x7B-Instruct-v0.1, квантованная с помощью смеси 4-битного и 2-битного квантования с помощью полуквадратичного квантования (HQQ). Точнее, уровни внимания квантуются до 4 бит, а эксперты — до 2 бит. Эта модель была разработана для достижения наилучшего качества при бюджете около 13 ГБ видеопамяти. Он достигает впечатляющего показателя LLM 70,01, что недалеко от 72,62 у оригинальной модели. Вы можете воспроизвести модель, используя следующие конфигурации квантов:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: mixtral, moe, conversational
Лайков: 19 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
