Кванты в этой коллекции ТРЕБУЮТ вилку ikllama.cpp для поддержки последних квантов и оптимизаций SOTA ik! Не** загружайте эти большие файлы и рассчитывайте, что они будут работать на основных версиях vanilla llama.cpp, ollama, LM Studio, KoboldCpp и т. д.! ПРИМЕЧАНИЕ. ikllama.cpp также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать его перед загрузкой моих квантов. Лишь несколько квантов в этой коллекции совместимы с основной линией llamma.cpp/LMStudio/KoboldCPP/etc, как указано в конкретном описании, для всех остальных требуется ikllama.cpp. Некоторые из новых квантов ik поддерживаются ветвью Nexesenex/croco.cpp KoboldCPP со сборками Windows. Также проверьте наличие сборок Windows ik_llama.cpp от Thireus здесь. Эти кванты обеспечивают лучшее в своем классе недоумение для данного объема памяти. Привет Венделлу и команде Level1Techs, форумам сообщества и каналу YouTube! ОГРОМНОЕ спасибо за предоставленную БОЛЬШУЮ экспертизу в области аппаратного обеспечения и доступ для проведения этих экспериментов и за то, что сделали эти замечательные квантовые данные доступными для сообщества!!! Также спасибо всем участникам сообщества количественного анализа и вывода на BeaverAI Club Discord и на r/LocalLLaMA за советы и подсказки, помогающие друг другу запускать, тестировать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ubergarm
Теги: gguf, imatrix, conversational, qwen3_5_moe, ik_llama.cpp, endpoints_compatible
Лайков: 19 | Загрузок: 2,116
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
