> Примечание по исходной версии 2: после выполнения этих количественных оценок исходная версия была обновлена до версии 2 с нормализацией токенизатора, улучшениями встроенных шаблонов чата и вариантами MTP. Эти кванты основаны на исходном исходном коде v1 — они отлично работают с текущим llama.cpp для вывода, но если вам нужен обновленный шаблон чата или поддержка MTP, скачайте последние GGUF с empero-ai/Qwythos-9B-Claude-Mythos-5-1M. Теперь доступны кванты MTP: wepiqx/Qwythos-9B-Claude-Mythos-5-1M-MTP-SHQ8-GGUF — тот же метод SHQ8 со встроенной черновой головкой MTP для спекулятивного декодирования. > Примечание. Имена файлов содержат Q5KM только для совместимости с анализатором HF. Это не чистый Q5KM — это селективные гибридные кванты, использующие Q80, Q6K, IQ4XS, Q5K и F16 для разных типов тензоров. См. каждый раздел для получения точной карты для каждого тензора. > Выборочное гибридное квантование для Qwythos-9B-Claude-Mythos-5-1M от Empero — полнопараметрическая точная настройка Qwen3.5-9B с поддержкой контекста и видения 1M. > > Использует тот же метод и формулы SHQ8, что и Qwable-9B-Claude-Fable-5-SHQ8-GGUF — та же архитектура, та же иматрица, те же стратегии квантования. Это не новая серия SHQ9; это проверенный подход SHQ8, примененный к другому…
Модальности:
Генерация текста Компьютерное зрение
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: wepiqx
Теги: gguf, qwen, qwen3.5, 9b, quantized, quantization, llama-cpp, q5_k_m
Лайков: 6 | Загрузок: 2,758
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
