w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP - Каталог нейросетей
Генерация текста

w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP

Добавлено:
w-ahmad/Qwen3.5-9B-GGUF-MoQ-MTP

Это репозиторий MTP. Спекулятивное декодирование MTP предназначено для более быстрой генерации. Оценка квантов приведена ниже. >MoQ (смесь квантов) — это разумный способ уменьшить модели ИИ, не теряя их «мозговой силы». В отличие от старых методов, которые обрабатывают каждую часть модели одинаково, MoQ определяет наиболее важные части и сохраняет их высокое качество, сильно сжимая при этом остальные для экономии места.*Хватит соглашаться на единый битрейт. Стандартное квантование — это пережиток прошлого, поскольку он рассматривает жизненно важные когнитивные веса так же, как избыточный шум. ** MoQ оптимизирует архитектуру для границы Парето памяти и производительности. Динамическое распределение битрейта: больше никаких универсальных решений. MoQ задает точность там, где это действительно важно. Когнитивное сохранение: значительная экономия видеопамяти при почти нулевом ухудшении логики и согласованности. Эффективность следующего поколения:** сочетает интеллект «большой» модели с аппаратным обеспечением «маленькой» модели. Вот сравнение динамических квантов MoQ и Unsloth. Думаю, MoQ работает лучше. Выполняется на вики-тексте (benchmaxxing не разрешен!!!) ## x : https://x.com/WaleedAhmad1a10 Если MoQ работает неудовлетворительно, напишите мне: waleedahmad.1a10@gmail.com «`bash. ./лама-кли -м…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: w-ahmad
Теги: gguf, MoQ, mixture-of-quants, GGUF, QWEN, quantization, en, endpoints_compatible
Лайков: 6  |  Загрузок: 2,740

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.