Обновленное квантование AWQ: выполнено stelterlab в INT4 GEMM с помощью llm-compressor (https://github.com/vllm-project/llm-compressor) из vllm-project. Все еще пытаюсь познакомиться с llm-compressor. Qwen3-Coder доступен в нескольких размерах. Сегодня мы рады представить Qwen3-Coder-30B-A3B-Instruct. Эта оптимизированная модель обеспечивает впечатляющую производительность и эффективность, обладая следующими ключевыми улучшениями: — Значительная производительность среди открытых моделей при агентном кодировании, использовании агентного браузера и других основных задачах кодирования. — Возможности длительного контекста с встроенной поддержкой 256 тыс. токенов, расширяемой до 1 млн токенов с помощью Yarn, оптимизированной для понимания в масштабе репозитория. — Поддержка агентного кодирования для большинства платформ, таких как Qwen Code, CLINE, со специально разработанным форматом вызова функций. Qwen3-Coder-30B-A3B-Instruct имеет следующие особенности: — Тип: каузальные языковые модели — Этап обучения: предварительное обучение и постобучение — Количество параметров: всего 30,5B и активированных 3,3B — Количество слоев: 48 — Количество головок внимания (GQA): 32 для Q и 4 для KV — Количество экспертов: 128 — Количество активированных экспертов: 8 — Длина контекста: 262 144 изначально. Для более…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: stelterlab
Теги: qwen3_moe, conversational, endpoints_compatible, compressed-tensors
Лайков: 6 | Загрузок: 58,719
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
