Квантование выполнялось с использованием exllamav3 v0.0.29 (коммит cb1a436). Исходная модель распространяется в формате FP8 (float8e4m3fn`), а не FP16/BF16 — поэтому квант 8.0bpw по размеру почти идентичен оригиналу. Метрики расхождения PPL и KL не поддаются вычислению для этой модели из-за значений inf/NaN, полученных экспертами уровня 61 во время прямого прохода. Это не характерно для EXL3 — та же проблема затрагивает 21–38% квантований GGUF у нескольких провайдеров. Вместо этого предоставляется соглашение Top-K против оригинала. Некоторые эксперты в модели выдают значения inf во время калибровки (например, эксперты 61 и 74 в последнем слое имели значения inf в состоянии калибровки проекции вниз). Слой lmhead также демонстрировал значения NaN в состоянии калибровки (445 тыс. NaN из 1,5 млрд элементов). Это приводит к сбою разложения Холецкого во время квантования, поскольку матрица Гессе больше не является положительно определенной. ExLlamaV3 не справляется с этим случаем корректно — квантование завершается сбоем после исчерпания повторных попыток. Был применен локальный патч, чтобы вернуться к некалиброванному квантованию затронутых тензоров. Учитывая, что затронуты лишь несколько экспертов из 256 на последнем уровне, влияние на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NeuroSenko
Теги: exllamav3, exl3
Лайков: 6 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
