Каждая ветвь содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Преобразование было выполнено с использованием Evol-Instruct-Code-80k-v1.parquet в качестве набора калибровочных данных. Используются аргументы по умолчанию, за исключением случаев, когда количество битов на вес превышает 6,0, в этот момент слой lm_head квантуется по 8 бит на вес вместо 6 по умолчанию. Исходная модель: https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-instruct. Чтобы загрузить основную (полезную, только если вас интересует только Measure.json) ветку в папку с именем deepseek-coder-6.7b-instruct-exl2: Чтобы скачать из другой ветки, добавьте параметр —revision:
Модальности:
Генерация текста
Области применения:
Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: bartowski
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
