— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование: INT4 — Варианты предполагаемого использования: — Рассуждения. — Вызов функции. — Эксперты в предметной области посредством тонкой настройки. — Многоязычная инструкция. — Перевод. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). — Дата выпуска: 05.05.2025 — Версия: 1.0 — Разработчики модели: RedHat (Neural Magic) Эта модель была получена путем квантования весов Qwen3-8B до типа данных INT4. Эта оптимизация уменьшает количество бит на параметр с 16 до 4, уменьшая размер диска и требования к памяти графического процессора примерно на 75%. Квантуются только веса линейных операторов внутри блоков преобразователей. Веса квантуются с использованием асимметричной схемы для каждой группы с размером группы 64. Для квантования применяется алгоритм GPTQ, реализованный в библиотеке llm-compressor. Эту модель можно эффективно развернуть с помощью серверной части vLLM, как показано в примере ниже. vLLM также поддерживает обслуживание, совместимое с OpenAI. Более подробную информацию смотрите в документации. Детали создания Эта модель была создана с помощью llm-compressor…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: qwen3, neuralmagic, redhat, llmcompressor, quantized, INT4, conversational, text-generation-inference
Лайков: 5 | Загрузок: 32,191
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
