— Верификатор: Qwen/Qwen3-32B — Алгоритм спекулятивного декодирования: EAGLE-3 — Архитектура модели: Eagle3Speculator — Дата выпуска: 17.09.2025 — Версия: 1.0 — Разработчики модели: RedHat Это спекулятивная модель, разработанная для использования с Qwen/Qwen3-32B и основанная на алгоритме спекулятивного декодирования EAGLE-3. Он был обучен с использованием библиотеки спекулянтов на комбинации наборов данных Aeala/ShareGPTVicunaunfiltered и trainsft HuggingFaceH4/ultrachat200k. Эту модель следует использовать с шаблоном чата Qwen/Qwen3-32B, в частности, через конечную точку /chat/completions. Сценарии использования Вариант использования Набор данных Число выборок Кодирование HumanEval 168 Математическое рассуждение gsm8k 80 Обобщение текста CNN/Daily Mail 80 Допустимая длина Вариант использования k=1 k=2 k=3 k=4 k=5 k=6 k=7 Кодирование 1,67 2,06 2,29 2,39 2,47 2,50 2,53 Математическое рассуждение 1,73 2,21 2,49 2,69 2,80 2,83 3,08 Обобщение текста 1,62 1,95 2,15 2,23 2,27 2,32 2,33 — температура: 0,6 — топп: 0,95 — топк: 20 — повторения: 3 — время на эксперимент: 10мин — оборудование: 2xA100 — версия vLLM: 0.11.0 — версия GuideLLM: 0.3.0 Интерфейс GuideLLM изменен, поэтому для совместимости с последней версией (v0.6.0) используйте следующее…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RedHatAI
Теги: neuralmagic, redhat, speculators, eagle3, qwen, custom_code, endpoints_compatible
Лайков: 8 | Загрузок: 219
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
