> Примечание. В exllamav3 v0.0.21 были исправлены конвейеры вывода Qwen3-Next. Эти кванты по-прежнему работают нормально, но с версией 0.0.21+ они должны работать еще лучше. Для достижения наилучших результатов рекомендуется использовать exllamav3 v0.0.21 или новее. > Обновление: аномалия KL-дивергенции, наблюдавшаяся в exllama3 v0.0.20 (где 8bpw имел более высокий KL-div, чем 5bpw), была устранена в версии 0.0.22. Измерения были повторены, и в таблице ниже отражены скорректированные значения. Все уровни квантования теперь демонстрируют ожидаемое монотонное уменьшение KL-расхождения по мере увеличения bpw. Официальный tabbyAPI пока не поддерживает вызовы инструментов для моделей Qwen и GLM. Если вы используете Qwen-Code, OpenClaw или подобное программное обеспечение, которому требуется поддержка вызовов инструментов, вы можете использовать мою ветку с веткой поддержки инструментов: эта ветка включает встроенную поддержку вызовов инструментов для семейств моделей Qwen и GLM.
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: NeuroSenko
Теги: exllamav3
Лайков: 10 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
