Это экспериментальная версия репозитория, содержащая квантованные модели Bielik-11B-v.2.2-Instruct с использованием калибровки с матрицей важности (imatrix). Модели с низкой точностью (2бит, 3бит) для использования в мобильных устройствах или миникомпьютерах. Обратите внимание, что эти модели следует использовать в основном в обучающем режиме (а не в чате). Мы рекомендуем устанавливать низкие значения температуры. Модели с более высокой точностью 4-8 бит после калибровки могут показывать лучшее качество, чем модели без калибровки. ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Имейте в виду, что квантованные модели демонстрируют пониженное качество отклика и возможные галлюцинации! IQ1M: (1,75 бит) Крайне низкое качество, не рекомендуется. IQ2XXS: Низкое качество, для удобства использования используются методы SOTA. IQ3XXS: Новый метод более низкого качества с приличной производительностью, сравнимый с квантованием Q3. IQ4XS: рекомендуется достойное качество, меньше, чем у Q4KS, с аналогичной производительностью. Q4KM: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q4K Q5KM: использует Q6K для половины тензоров внимания.wv и Feedforward.w2, иначе Q5K Q6K: использует Q8K для всех тензоров Q80:** Почти неотличим от float16. Высокое потребление ресурсов и медленная работа. Не рекомендуется для большинства пользователей. Файл GGUF можно использовать с Олламой.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: speakleash
Теги: gguf, finetuned, pl, imatrix, conversational
Лайков: 10 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
