«Основная» ветка содержит только файл «meaurement.json», загрузите одну из других веток для модели (см. ниже). Каждая ветка содержит отдельные биты на вес, а основная содержит только файл «meaurement.json» для дальнейших преобразований. Используются аргументы по умолчанию, за исключением случаев, когда количество битов на вес превышает 6,0, в этот момент слой lm_head квантуется по 8 бит на вес вместо 6 по умолчанию. Исходная модель: https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct. Чтобы загрузить основную (полезно, только если вас интересует только измерение.json) ветку в папку с именем Qwen2.5-Coder-32B-Instruct-exl2: Чтобы скачать из другой ветки, добавьте параметр —revision: Windows (которая, видимо, иногда не любит _ в папках?):
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Теги: code, codeqwen, chat, qwen, qwen-coder, en, endpoints_compatible
Лайков: 13 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
