Не у всех есть быстрый интернет. Даже с аппаратным обеспечением для запуска моделей 270B загрузка 539 ГБ является болезненной. Это разрежет его пополам. — >99,9% косинусоидальное сходство с исходными весами BF16 — ~2% относительная погрешность — почти без потерь — Поканальные весы сохраняют точность — Квантованные веса FP8 (18 шардов, ~ 272 ГБ) — Поканальные шкалы деквантования — Код модели, совместимый с HuggingFace — Пользовательский токенизатор для формата xAI — Сценарий деквантования Grok-2 имеет уникальную архитектуру, которой нет в других моделях MoE: Ключевое отличие: Большинство моделей MoE (Mixtral, DeepSeek) имеют ЛИБО плотную MLP, либо MoE. Grok-2 работает КАК параллельно, ТАК и суммирует выходы. Поэтому существующие загрузчики vLLM пока не работают. Стандартные трансформаторы не могут рассчитывать вес FP8 напрямую. Dequantize first: — ~ 540GB RAM/VRAM required — 8x H100 80GB recommended — 8x A100 80GB works When vLLM/SGLang add Grok-2 architecture support: — ~ 272GB VRAM with FP8 kernels — Would run on 4x H100 80GB — Attention: Q, K, V, O projections — Shared MLP: gate, up, down projections — MoE Experts: w1, w2, w3 (8 experts × 64 layers) — Total: 1,984 tensors — Embeddings (embedtokens, lmhead) — All layer norms — MoE router gates — Total: 323 tensors
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TevunahAi
Теги: grok2, fp8, quantized, grok-2, moe, tevunahai, custom_code
Лайков: 3 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
