Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Это МОЕ общего назначения — смесь экспертов из 6 моделей по 1,7В (10,2В параметров) в структуре Qwen 3 типа Mixtral, сжатая до 7В параметров. Эта модель превышает 110 т/с с активированными 2 экспертами (по умолчанию) на карте среднего уровня, в 2/3 раза больше на карте высокого класса. Это модель общего назначения для всех вариантов использования, включая креатив и генерацию кода, НО она превосходна в создании креативов, включая NSFW. Особая благодарность TEAM QWEN и всем производителям моделей — подробности см. в дереве моделей. Я включил в эту модель дополнительную системную подсказку для вызова «мышления», если вы хотите активировать ее для всех случаев использования. Для кодирования, программирования установите эксперта на: — 2 для общей работы. — 2-4 для умеренной работы/для сложной работы, длительных проектов, сложного кодирования. — Предлагать минимальное контекстное окно от 4 до 8 тысяч. — А для более длинного контекста и/или многоходового -> увеличьте количество экспертов на 1-2, чтобы помочь с более длинным контекстом/многоходовым пониманием. Рекомендуемые настройки — общие: — Rep Pen от 1,05 до 1,1; однако, репсовая ручка 1 подойдет (может потребоваться…
Модальности:
Генерация текста
Области применения:
Генерация кода Программирование Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: qwen3_moe, programming, code generation, code, codeqwen, moe, coding, coder
Лайков: 6 | Загрузок: 3,064
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
