УЖАС Imatrix Quants новой модели «Qwen 3 — 14B» с МАКСИМАЛЬНЫМ «выходным тензором» на BF16 для улучшения рассуждений / генерации вывода. УЖАС Набор данных Imatrix был создан собственными силами. Он был создан с использованием модели Grand Horror 16B. Эффект Imatrix будет тем сильнее, чем меньший квант вы используете, поскольку IQ4XS/IQ4NL является наиболее сбалансированным количественным показателем по качеству и эффекту Imatrix. Эти кванты также будут наиболее эффективны для творческих случаев использования. Максимизируется только квант Q8_0, поскольку Imatrix не влияет на этот квант. Длина контекста: генерация выходного сигнала 32 КБ + 8 КБ. (можно расширить до 128 КБ). Если у вас возникли проблемы с «автоматическим шаблоном» Jinja, используйте шаблон CHATML. Обновите шаблон Jinja (перейдите на этот сайт, шаблон-> скопируйте «шаблон Jinja», а затем вставьте его). Это может вам понадобиться, а может и не понадобиться, поскольку в большинстве случаев Qwen3 генерируют свои собственные блоки рассуждения/мышления. См. документ «Максимизация модели-производительности-все…» ниже, чтобы узнать, как «установить» системную роль в различных приложениях LLM/AI ниже. Настройки высочайшего качества / Руководство по оптимальной эксплуатации / Параметры и пробоотборники Для всех настроек, используемых для этой модели (включая особенности ее «класса»), включая генерацию(-и) примеров и руководство по расширенным настройкам (которое часто обращается к любому…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, horror, 32 k context, reasoning, thinking, qwen3, endpoints_compatible, imatrix
Лайков: 5 | Загрузок: 278
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
