Использование предварительной версии ExLlamaV2 v0.0.15 от Turboderp для квантования. «Основная» ветка содержит только файл Measure.json, загрузите одну из других веток для модели (см. ниже). Каждая ветка содержит отдельные биты на вес, а основная содержит только файл meaurement.json для дальнейших преобразований. Исходная модель: https://huggingface.co/cognitivecomputations/dolphincoder-starcoder2-15b Чтобы загрузить основную ветку (полезно только в том случае, если вас интересует только измерение.json) в папку с именем dolphincoder-starcoder2-15b-exl2: Чтобы загрузить из другой ветки, добавьте параметр —revision: Windows (которая, видимо, иногда не любит _ в папках?):
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: bartowski
Теги: en
Лайков: 5 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
