Эта модель представляет собой квантованный процессор DeepSeek-V3.1 W4AFP8 с квантованием AWQ. Связанный PR: https://github.com/sgl-project/sglang/pull/8573 Связанный проект: https://github.com/TMElyralab/sglang/tree/lyra_w4afp8 Тестовая конфигурация: ввод/вывод len = 1000/1000, qps=64, maxconcurrency=64, numprompt=128 Устройство: H20 * 8 По сравнению с исходной моделью: — bs=64, пропускная способность ввода/вывода увеличилась на 56%. — bs=128, пропускная способность ввода/вывода увеличилась на 125%. Зеркало: lmsysorg/sglang:v0.4.6.post5-cu124 или lmsysorg/sglang:v0.5.1.post5-cu126 (cuda12.6 env необходимо обновить ptxas до 12.8 в Hopper. ссылка) Мы — TMElyralab, команда ускорения от Tencent Music Entertainment (TME). DeepSeek-V3.1 — это гибридная модель, которая поддерживает как режим мышления, так и режим без мышления. По сравнению с предыдущей версией это обновление вносит улучшения по нескольким аспектам: — Гибридный режим мышления: одна модель поддерживает как режим мышления, так и режим без мышления за счет изменения шаблона чата. — Более разумный вызов инструментов: благодаря оптимизации после обучения производительность модели при использовании инструментов и выполнении задач агента значительно улучшилась. — Более высокая эффективность мышления: DeepSeek-V3.1-Think обеспечивает качество ответов, сравнимое с…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TMElyralab
Теги: deepseek_v3, conversational, custom_code, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
