Гибридный кэш AWQ int4 + fp8 + fp8 KV MiniMaxAI/MiniMax-M2.5 (~229B параметров, 256 экспертов на слой), который подходит для 4x RTX A6000 (192 ГБ) (Ampere) с ~370 000 токенов KV-кеша (более чем вдвое!). В настоящее время для запуска требуются патчи vLLM! Это не простое квантование, оно настроено на максимальную эффективность видеопамяти: 1. Экспертные слои MLP (w1/w2/w3 — 224,7B параметров, 98,3% модели) квантуются в AWQ int4 с group_size=128. Это основная часть параметров, и они больше всего выигрывают от сжатия. 2. Слои внимания (q/k/v/oproj — параметры 2,7B) сохраняются в исходном формате fp8e4m3fn с поблочным масштабом (128×128 блоков). Они чувствительны к качеству и достаточно малы, поэтому имеет смысл поддерживать более высокую точность. vLLM требует исправления, чтобы принять это. 3. Кэш KV использует fp8e4m3 с калиброванными шкалами для каждого слоя, полученными во время прохода калибровки AWQ. Это удваивает емкость токена кэша KV по сравнению с bf16. В нашем развертывании 4x A6000 это увеличило кэш KV с ~ 160 000 токенов до ~ 370 000 токенов. vllm автоматически определяет кэш fp8 KV из kvcacheschema в конфигурации контрольной точки — флаг —kv-cache-dtype` не требуется. Для поддержки этого необходим патч для vLLM. 4.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: EliasOenal
Теги: minimax_m2, vllm, awq, fp8, moe, quantized, minimax, conversational
Лайков: 16 | Загрузок: 189
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
