Она заглянула в Его Позвоночник, в Его Сердце; и она увидела там тень Его души. Q3-30B-A3B-Designant, задуманный как прямое обновление Pentiment, представляет собой ролевую модель, доработанную на основе Qwen3-30B-A3B-Base. В ходе тестирования Designant превзошел свою весовую категорию по активным параметрам, продемонстрировав потенциал хорошо сделанных легких моделей Mixture of Experts на ролевой сцене. Хотя один тестировщик наблюдал зацикливание, повторение в целом было минимальным. ⚠️ Предупреждение: квантование в моделях Qwen 3 MoE кажется очень неудобным. Мы рекомендуем использовать полные веса bf16 и vLLM, если это возможно. GGUF: — imatrix GGUF от Bartowski — Линейные GGUF от mradermacher Некоторые пользователи сообщают о еще большем количестве проблем с низкоразрядными квантами GGUF для моделей Qwen3 MoE. Мы рекомендуем попробовать как imatrix, так и линейное, а также q5+ для надлежащего качества. — Формат — старый добрый ChatML (обратите внимание, что, в отличие от обычного Qwen 3, вам не нужно предварительно заполнять пустые теги think, чтобы это не мешало — см. ниже). — Настройки, используемые тестировщиками, различались, но Fizz и inflatebot использовали одни и те же настройки и системные приглашения, рекомендованные для GLM4-32B-Neon-v2. — Официальная инструкция к следующей версии Qwen3-30B-A3B не входила…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: qwen3_moe, mergekit, axolotl, unsloth, roleplay, conversational, endpoints_compatible
Лайков: 16 | Загрузок: 66
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
