Этот квант изменил часть кода модели, чтобы устранить проблему переполнения при использовании float16. Для обслуживания с использованием vLLM с 8 графическими процессорами по 80 ГБ используйте следующую команду: Вы можете загрузить колесо, которое я создал для PyTorch 2.6, Python 3.12, щелкнув здесь. Тест ниже был выполнен с этим колесом, он содержит 2 слияния PR и неоптимизированный FlashMLA (все еще быстрее, чем Triton) для A100, что значительно повысило производительность. Репозиторий vLLM, содержащий A100 FlashMLA, можно найти по адресу LagPixelLOL/vllm@sm80_flashmla, который является ответвлением vllm-project/vllm. Используемый FlashMLA A100 основан на LagPixelLOL/FlashMLA@vllm, который является ответвлением pzhao-eng/FlashMLA.
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: QuixiAI
Теги: deepseek_v3, conversational, custom_code, en, zh, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 86 | Загрузок: 1,316
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
