Использовать их пресеты для SillyTavern важно из-за своеобразного оперативного форматирования этой модели. А вот предустановленные сэмплеры генерации текста для SillyTavern, которые я использовал. Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели. Одним из преимуществ использования Imatrix является то, что это может привести к повышению производительности модели, особенно когда данные калибровки разнообразны. Дополнительная информация: [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006) [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384). Новая опция количественного анализа IQ3S оказалась лучше старой Q3KS, поэтому я добавил ее вместо более поздней. Поддерживается только в koboldcpp-1.59.1` или выше. Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Модели (управляемого) написания рассказов и ролевых игр. Все модели Opus V1, включая Quantant. — Руководство по подсказкам Opus V1 с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference, rp, roleplay, uncensored, en
Лайков: 6 | Загрузок: 201
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
