Подробную информацию о модели можно найти на странице модели выше. Эти кванты были выполнены с помощью exllamav2 версии 0.0.18. Кванты, созданные в этой версии EXL2, могут не работать в более старых версиях библиотеки exllamav2. Если у вас возникли проблемы с загрузкой этих моделей, обновите веб-интерфейс Text Generation до последней версии. Ниже приведены оценки недоумения для моделей EXL2. Чем ниже балл, тем лучше.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Dracones
Теги: mixtral, exl2, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
