— Метод квантования: cyankiwi AWQ v1.0 — Биты: 4 — Размер группы: 32 — Набор калибровочных данных: nvidia/Llama-Nemotron-Post-Training-Dataset — Инструмент квантования: llm-compressor — v1.0.0 — Добавление слоев MTP. — v0.1.0 — Первоначальный квантовый выпуск За последние несколько месяцев мы наблюдали все более четкие тенденции к масштабированию как общих параметров, так и длины контекста в поисках более мощного и агентного искусственного интеллекта (ИИ). Мы рады поделиться нашими последними достижениями в удовлетворении этих требований, направленными на повышение эффективности масштабирования за счет инновационной архитектуры моделей. Мы называем эту модель фундамента нового поколения Qwen3-Next. Qwen3-Next-80B-A3B — это первая часть серии Qwen3-Next, в которой реализованы следующие ключевые улучшения: — Гибридное внимание: стандартное внимание заменяется комбинацией Gated DeltaNet и Gated Attention, что позволяет эффективно моделировать контексты для сверхдлинных контекстов. — Смесь экспертов с высокой разреженностью (MoE): достигает чрезвычайно низкого коэффициента активации в слоях MoE, резко сокращая число операций на токене при сохранении емкости модели. — Оптимизация стабильности: включает в себя такие методы, как центрирование по нулю и затухание по весу…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: cyankiwi
Теги: qwen3_next, conversational, endpoints_compatible, compressed-tensors
Лайков: 61 | Загрузок: 141,350
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
