Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная модель демонстрирует лучшую эффективность токенов. Это улучшение происходит от установки desc_act=False в конфигурации квантования. Qwen3 — это последнее поколение крупных языковых моделей в серии Qwen, предлагающее полный набор моделей плотной и смешанной речи (MoE). Построенный на обширном обучении, Qwen3 обеспечивает новаторские достижения в рассуждениях, следовании инструкциям, возможностях агента и многоязычной поддержке со следующими ключевыми функциями: — Уникальная поддержка плавного переключения между режимом мышления (для сложных логических рассуждений, математики и кодирования) и немыслимым режимом (для эффективного диалога общего назначения) в рамках одной модели, обеспечивая оптимальную производительность в различных сценариях. — Значительное расширение возможностей рассуждений, превосходящее предыдущие модели QwQ (в режиме мышления) и Qwen2.5 (в режиме без мышления) по математике, генерации кода и логическим рассуждениям здравого смысла. — Превосходное выравнивание человеческих предпочтений, превосходное творческое письмо, ролевые игры, многооборотные диалоги и следование инструкциям, чтобы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: JunHowie
Теги: qwen3, Qwen3, GPTQ, Int4, 量化修复, vLLM, conversational, text-generation-inference
Лайков: 4 | Загрузок: 925
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
