Этот репозиторий содержит модель IIC/RigoChat-7b-v2 в формате GGUF с исходными весами и квантованием с различной точностью. Библиотека llama.cpp использовалась для преобразования параметров в формат GGUF, а также для выполнения квантования. В частности, для получения модели с полной точностью была использована следующая команда: Чтобы квантовать rigochat-7b-v2-F16.gguf в разные размеры, сначала мы вычисляем матрицу важности следующим образом: где traindata.txt — это испанский набор необработанных текстовых данных для калибровки. При этом создается файл imatrix.dat, который мы можем использовать для квантования исходной модели. Например, чтобы получить точность Q4KM` с помощью этой конфигурации, выполните: чтобы просмотреть все параметры квантования. Чтобы проверить, как работает imatrix, может быть полезен этот пример. Дополнительную информацию о типах квантования можно найти по этой ссылке. Набор данных traindata.txt является необязательным для большинства квантований. Мы использовали экспериментальный набор данных для получения всех возможных квантований. Тем не менее, мы настоятельно рекомендуем загрузить веса с полной точностью: rigochat-7b-v2-fp16.gguf` и попытаться квантовать модель с помощью собственных наборов данных, адаптированных к варианту использования, который вы хотите использовать. Оценки обсуждаются в более подробном…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: IIC
Теги: gguf, chat, es, endpoints_compatible, conversational
Лайков: 12 | Загрузок: 1,508
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
