Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели. Одним из преимуществ использования Imatrix является то, что это может привести к повышению производительности модели, особенно когда данные калибровки разнообразны. Дополнительная информация: [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006) [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384) Файлы настроек SillyTavern для предыдущей версии находятся здесь. Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Новый объединенный сегодня IQ3S показал себя лучше, чем старый Q3KS, но будет поддерживаться только в версии koboldcpp-1.60` или новее. Для данных —imatrix использовался imatrix-Kunocchini-1.2-7b-longtext-F16.dat. Спасибо @Epiculous за отличную модель, помощь с бэкэндом llm и поддержку в целом. Я также хотел бы поблагодарить @kalomaze за добавление в ST сэмплера допинга. @SanjiWatsuki Спасибо…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference, merge, mergekit
Лайков: 4 | Загрузок: 82
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
