Этот репозиторий содержит: — базовые кванты (3, 4, 5, 6, 8 бит) для Exllamav3 (с использованием случайных преобразований Адамара SOTA и квантования Trellis для высококачественной реконструкции) — измерения KL-дивергенции уровня слоя и тензора для оптимизации распределения битов с учетом целевого размера — теоретические исследования, связанные с квантованием, в частности квантованием MoE Цели: — обеспечить наилучшие возможные кванты для того, что, возможно, является верхней общей моделью 2025 года — служить эталоном f 8x 3090/4090, 6x 5090, $x RTX A6000, 4x RTX 6000 Ada или 2x RTX Pro 6000 Blackwell). Жаль, что все 4-разрядные кванты для моего обычного фреймворка vllm начинаются с 191~ 200 ГБ VRAM. Поэтому, ища новый бэкенд, который мог бы использовать тензорный параллелизм, я остановился на Exllamav3. И что еще лучше, в нем уже были все необходимые инструменты для полного квантования моделей смешанных экспертов (Mixture-of-Experts, MoE), в отличие от vllm/llmcompressor, который требует дополнительного кода для обеспечения активации всех экспертов (или их…).
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mratsim
Теги: exllamav3, exl3
Лайков: 4 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.