Это версия модели Mixtral-8x7B-Instruct-v0.1, квантованная с помощью смеси 4-битного и 2-битного квантования с помощью полуквадратичного квантования (HQQ). Точнее, уровни внимания квантуются до 4 бит, а эксперты — до 2 бит. Разница между этой моделью и нашей предыдущей версией заключается в том, что она выгружает метаданные в ЦП, и для ее запуска вам нужно всего лишь 13 ГБ видеопамяти вместо 20 ГБ! Вы можете воспроизвести модель, используя следующие конфигурации квантов: Код в github по адресу https://github.com/mobiusml/hqq/blob/master/examples/hf/mixtral13GBexample.py.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mobiuslabsgmbh
Теги: mixtral, moe, conversational
Лайков: 16 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
