Сегодня мы анонсируем Qwen3-Coder-Next-Base, языковую модель с открытым кодом, разработанную специально для агентов кодирования и локальной разработки. Он имеет следующие ключевые улучшения: — Усовершенствованная архитектура: он объединяет гибридное внимание с очень разреженным MoE, обеспечивая высокую пропускную способность и эффективное сверхдлинное контекстное моделирование. — Надежная база данных: обучение проводилось на самых разнообразных корпусах с широким охватом, с собственным контекстом 256 тыс. и поддержкой более 370 языков, что оставляет достаточный запас для последующего обучения. — Возможности агентного кодирования: благодаря тщательно разработанному рецепту обучения он обладает сильными возможностями в вызове инструментов, адаптации каркаса/шаблона, а также обнаружении/восстановлении ошибок, что делает его прочной основой для надежных агентов кодирования. Qwen3-Coder-Next-Base имеет следующие функции: — Тип: причинно-языковые модели — Этап обучения: предварительное обучение — Количество параметров: всего 80B и 3B активированных — Количество параметров (без внедрения): 79B — Скрытое измерение: 2048 — Количество слоев: 48 — Гибридный макет: 12 (3 (Gated DeltaNet -> MoE) -> 1 * (Закрытое внимание -> МО)) — Закрытое внимание: — Количество головок внимания: 16 для Q и 2 для КВ — Размер головки: 256 — Поворотное положение…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: Qwen
Теги: qwen3_next, conversational, endpoints_compatible
Лайков: 64 | Загрузок: 3,853
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
