Этот репозиторий содержит 4-битную квантованную версию программы mistralai/Mixtral-8x7B-Instruct-v0.1. Чтобы использовать его, убедитесь, что у вас установлена последняя версия битов и байтов и преобразователей из исходного кода: Загрузка этой модели как таковой: будет напрямую загружать квантованную модель с точностью до 4 бит. Обратите внимание, что вам понадобится CUDA-совместимое графическое устройство для запуска моделей с низкой точностью и битами и байтами.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ybelkada
Теги: mixtral, mistral, moe, conversational, en, text-generation-inference, 4-bit, bitsandbytes
Лайков: 59 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
