— Архитектура модели: Qwen3NextForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса: FP4 — Квантование активации: FP4 — Дата выпуска: — Версия: 1.0 — Разработчики модели:: Red Hat — URI хранилища ModelCar: oci://registry.redhat.io/rhai/modelcar-qwen3-coder-next-nvfp4:3.0 Эта модель была полученный путем квантования весов и активаций типа данных Qwen/Qwen3-Coder-Next для FP4. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Квантуются только веса и активации линейных операторов внутри блоков преобразователей языковой модели. Эта модель была квантована с использованием библиотеки llm-compressor, как показано ниже. Модель была оценена в задаче таблицы лидеров OpenLLM с использованием lm-evaluation-harness. vLLM использовался для всех оценок.
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen3_next, NVFP4, quantized, llm-compressor, compressed-tensors, red hat, conversational
Лайков: 23 | Загрузок: 16,621
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
