Eagle3-Qwen3-8B-zh — переобученная версия Qwen3-8B с открытым исходным кодом, разработанная для алгоритма спекулятивного декодирования Eagle-3. Он имеет возможности ускорения как для китайских, так и для английских текстов, направленные на ускорение процесса вывода на этапе декодирования больших языковых моделей. Эта модель обучается на двуязычном наборе данных (китайском и английском), что повышает ее эффективность для задач со смешанным вводом. Чтобы снизить затраты на обучение, мы создали недорогой учебный инструмент Eagle-3 на основе фреймворков Eagle и SpecForge, оптимизированный для графических процессоров потребительского класса и производственных сред серверов ИИ «все в одном». Тренировочный процесс проводился на ИИ-сервере All-in-one (NVIDIA RTX 4090), завершив сквозное обучение примерно за 3 дня. Примечательно, что черновая модель, обученная примерно 135 тыс. точек данных, превосходит другие модели с открытым исходным кодом в производительности ускорения (с небольшим преимуществом на английском языке и значительным улучшением на китайском языке). Во время тестирования на одном графическом процессоре NVIDIA RTX 4090 модель достигла 🚀 2,5-кратного ускорения декодирования как для английских, так и для китайских задач на наборе данныхMT-bench (-zh). > Примечание. Файлы конфигурации в проекте соответствуют SGLang…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Zjcxy-SmartAI
Теги: llama, qwen3, eagle3, eagle, speculative-decoding, zh, en
Лайков: 3 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
