В течение последних трех месяцев мы продолжали масштабировать мыслительные способности Qwen3-30B-A3B, улучшая как качество, так и глубину рассуждений. Мы рады представить Qwen3-30B-A3B-Thinking-2507 со следующими ключевыми улучшениями: — Значительно улучшена производительность при решении задач рассуждения, включая логические рассуждения, математику, естественные науки, программирование и академические тесты, которые обычно требуют человеческого опыта. — Заметно улучшены общие возможности, такие как следование инструкциям, использование инструментов, генерация текста и согласование с предпочтениями человека. — Улучшены возможности понимания длинного контекста 256K. Этот репозиторий содержит версию Qwen3-30B-A3B-Thinking-2507 для FP8, которая имеет следующие функции: — Тип: причинно-следственные языковые модели — Этап обучения: предварительное обучение и постобучение — Количество параметров: всего 30,5B и активировано 3,3B — Количество параметров (без внедрения): 29,9B — Количество слоев: 48 — Количество заголовков внимания (GQA): 32 для Q и 4 для KV — Количество экспертов: 128 — Количество активированных экспертов: 8 — Длина контекста: 262 144 изначально. Кроме того, чтобы обеспечить модельное мышление, шаблон чата по умолчанию автоматически включает файлы . Поэтому это нормально для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: qwen3_moe, conversational, endpoints_compatible, fp8
Лайков: 63 | Загрузок: 39,977
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
