Это квант EXL2 с битрейтом 8,0 бит/вт ParasiticRogue/Merged-RP-Stew-V2-34B. Подробности о модели и информацию о слиянии можно найти на странице режима выше. Эти кванты были выполнены с помощью exllamav2 версии 0.0.17. Кванты, созданные в этой версии EXL2, могут не работать в более старых версиях библиотеки exllamav2. Если у вас возникли проблемы с загрузкой этих моделей, обновите веб-интерфейс Text Generation до последней версии. Ниже приведены оценки недоумения для моделей EXL2. Чем ниже балл, тем лучше. Вот результаты EQ Bench для квантов EXL2 с использованием шаблонов подсказок Alpaca, ChatML и Chat-Vicuna. Чем выше балл, тем лучше. Это yaml шаблона Chat-Vicuna, который использовался в EQ Bench. Он был протестирован в веб-интерфейсе Text Generation и, похоже, дал точные результаты. Это сценарий, используемый для квантования. Эти количественные показатели были откалиброваны по данным обучения чата викуньи компании Bluemoon-Light.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Dracones
Теги: llama, merge, roleplay, exl2, not-for-all-audiences, text-generation-inference, endpoints_compatible, 8-bit
Лайков: 7 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
