Если вам это нравится, также ознакомьтесь со сценарием GGUF-Quantization-Script от FantasiaFoundry. Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006/) Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели и привести к повышению производительности, особенно когда данные калибровки разнообразны. [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384/) Новая опция количественного анализа IQ3S оказалась лучше, чем старая Q3KS, поэтому я добавил ее вместо более поздней. Поддерживается только в koboldcpp-1.59.1` или выше. Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Это попытка создать модель, которая сочетает в себе несколько «устоявшихся» 7B и очень небольшой частный набор данных WIP с чистой творческой силой Эроса. Что касается форматов инструкций, лучше всего работают ChatML и Alpaca. Слияние не является чисто ChatML, поэтому мои предыдущие попытки интегрировать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference, roleplay, conversational
Лайков: 9 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
