> [!TIP] > Поддержка: > В последнее время моя скорость загрузки была нестабильной и нестабильной. > На самом деле мне придется переехать, чтобы найти лучшего поставщика. > Если хочешь и можешь… > Поддержать различные мои начинания можно здесь (Ко-фи). > Я прошу прощения за то, что нарушил ваш опыт. Если они вам понравились, ознакомьтесь с работой GGUF-IQ-Imatrix-Quantization-Script от FantasiaFoundry. Эта модель должна дать вам меньше отказов, учитывая, что она слита с расшатанной Layla-V4. Это расшифровывается как «Матрица важности» — метод, используемый для улучшения качества квантованных моделей. [[1]](https://github.com/ggerganov/llama.cpp/discussions/5006/) Imatrix рассчитывается на основе данных калибровки и помогает определить важность различных активаций модели в процессе квантования. Идея состоит в том, чтобы сохранить наиболее важную информацию во время квантования, что может помочь уменьшить потерю производительности модели и привести к лучшему сохранению качества, особенно когда данные калибровки разнообразны. [[2]](https://github.com/ggerganov/llama.cpp/discussions/5263#discussioncomment-8395384/) Новая опция количественного анализа IQ3S оказалась лучше, чем старая Q3KS, поэтому я добавил ее вместо более поздней. Только…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Lewdiculous
Теги: gguf, mistral, quantized, text-generation-inference, roleplay
Лайков: 20 | Загрузок: 162
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
