GGUF квантования deepreinforce-ai/Ornith-1.0-35B-GGUF, опубликованные Liodon AI. LM Studio / Jan — поиск liodon-ai/Ornith-1.0-35B-GGUF-imatrix-GGUF и выбор количества. Стандартное квантование одинаково относится ко всем весам. iMatrix проводит 128 калибровочных кусков через модель полной точности, чтобы найти, какие веса имеют наибольшее значение, а затем выделяет большую точность там, где она имеет значение. В Q2/Q3/Q4 это означает заметно лучшую согласованность и следование инструкциям — тот же размер файла, лучший вывод. > См. также простые (не iMatrix) кванты: liodon-ai/Ornith-1.0-35B-GGUF-GGUF — Модель: deepreinforce-ai/Ornith-1.0-35B-GGUF — Лицензия: other
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: liodon-ai
Теги: gguf, ollama, local-llm, llama.cpp, lm-studio, quantized, imatrix, sub-4-bit
Лайков: 4 | Загрузок: 492
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
