Каждая ветвь содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Используются аргументы по умолчанию, за исключением случаев, когда количество битов на вес превышает 6,0, в этот момент слой lm_head квантуется по 8 бит на вес вместо 6 по умолчанию. Исходная модель: https://huggingface.co/WizardLM/WizardCoder-33B-V1.1. Чтобы загрузить основную ветку (полезно только в том случае, если вас интересует только Measure.json) в папку под названием WizardCoder-33B-V1.1-exl2: Для скачивания из другой ветки добавьте параметр —revision:
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bartowski
Теги: code, model-index, endpoints_compatible
Лайков: 4 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
