— Верификатор: Qwen/Qwen3-8B — Алгоритм спекулятивного декодирования: EAGLE-3 — Архитектура модели: Eagle3Speculator — Дата выпуска: 27.07.2025 — Версия: 1.0 — Разработчики модели: RedHat Это спекулятивная модель, разработанная для использования с Qwen/Qwen3-8B и основанная на алгоритме спекулятивного декодирования EAGLE-3. Он был обучен с использованием библиотеки спекулянтов на комбинации наборов данных Aeala/ShareGPTVicunaunfiltered и HuggingFaceH4/ultrachat200k. Модель обучалась с отключенным мышлением. Эту модель следует использовать с шаблоном чата Qwen/Qwen3-8B, в частности, через конечную точку /chat/completions`. Варианты использования Вариант использования Набор данных Количество выборок Кодирование HumanEval 168 Математическое рассуждение gsm8k 80 Суммирование текста CNN/Daily Mail 80 Допустимая длина Вариант использования k=1 k=2 k=3 k=4 k=5 k=6 k=7 Кодирование 1,72 2,17 2,39 2,59 2,60 2,59 2,69 Математическое рассуждение 1,73 2,20 2,48 2,63 2,72 2,79 2,81 Обобщение текста 1,62 1,96 2,13 2,24 2,25 2,29 2,30 — температура: 0,6 — топп: 0,95 — топк: 20 — повторения: 3 — время на эксперимент: 10мин — оборудование: 1xA100 — версия vLLM: 0.11.0 — версия GuideLLM: 0.3.0 Интерфейс GuideLLM изменен, поэтому для совместимости с последней версией…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RedHatAI
Теги: neuralmagic, redhat, speculators, eagle3, custom_code, endpoints_compatible
Лайков: 28 | Загрузок: 73,870
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
