Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Новый IQ3S, добавленный сегодня, показал себя лучше, чем старый Q3KS, поэтому я добавил его вместо более позднего. Поддерживается только в koboldcpp-1.60` или выше. В объединение были включены следующие модели: Test157t/Pasta-PrimaMaid-7b macadeliccc/WestLake-7B-v2-laser-truthy-dpo Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference, merge, mergekit
Лайков: 5 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
