«Основная» ветка содержит только файл Measure.json, загрузите одну из других веток для модели (см. ниже). Каждая ветка содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Аргументы по умолчанию используются, за исключением случаев, когда количество битов на вес превышает 6,0, в этот момент слой lm_head квантуется по 8 бит на вес вместо 6 по умолчанию. Исходная модель: https://huggingface.co/microsoft/Phi-3-mini-128k-instruct Чтобы загрузить основную ветку (полезно только в том случае, если вас интересует только Measure.json) в папку с именем Phi-3-mini-128k-instruct-exl2: Для скачивания из другой ветки добавьте параметр —revision: Windows (которая видимо иногда не любит _ в папках?):
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Теги: nlp, code, en
Лайков: 6 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
