В этом репозитории представлено несколько иматричных квантований GGUF Steelskull/L3.3-Electra-R1-70b. — IQ2M — IQ3XS — IQ3M — Q4KS — IQ4XS — Q4KM — Q5KS — Q5KM — Q6K — Q80 Иматрица была создана с использованием тех же калибровочных данных, что и Бартовски, и здесь представлены как данные калибровки, так и сама иматрица.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ddh0
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 6 | Загрузок: 1,423
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
