mratsim/GLM-4.6-EXL3 - Каталог нейросетей
Генерация текста

mratsim/GLM-4.6-EXL3

Добавлено:
mratsim/GLM-4.6-EXL3

Этот репозиторий содержит: — базовые кванты (3, 4, 5, 6, 8 бит) для Exllamav3 (с использованием случайных преобразований Адамара SOTA и квантования Trellis для высококачественной реконструкции) — измерения KL-дивергенции уровня слоя и тензора для оптимизации распределения битов с учетом целевого размера — теоретические исследования, связанные с квантованием, в частности квантованием MoE Цели: — обеспечить наилучшие возможные кванты для того, что, возможно, является верхней общей моделью 2025 года — служить эталоном f 8x 3090/4090, 6x 5090, $x RTX A6000, 4x RTX 6000 Ada или 2x RTX Pro 6000 Blackwell). Жаль, что все 4-разрядные кванты для моего обычного фреймворка vllm начинаются с 191~ 200 ГБ VRAM. Поэтому, ища новый бэкенд, который мог бы использовать тензорный параллелизм, я остановился на Exllamav3. И что еще лучше, в нем уже были все необходимые инструменты для полного квантования моделей смешанных экспертов (Mixture-of-Experts, MoE), в отличие от vllm/llmcompressor, который требует дополнительного кода для обеспечения активации всех экспертов (или их…).

Модальности:
Генерация текста


Задача: Генерация текста
Автор: mratsim
Теги: exllamav3, exl3
Лайков: 4  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.