Для этой коллекции квантов ТРЕБУЕТСЯ форк ikllama.cpp для поддержки последних квантов и оптимизаций SOTA ik! Не** загружайте эти большие файлы и рассчитывайте, что они будут работать на основных версиях vanilla llama.cpp, ollama, LM Studio, KoboldCpp и т. д.! ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать его перед загрузкой моих квантов. Некоторые из новых квантов ik поддерживаются форком Nexesenex/croco.cpp KoboldCPP. Эти кванты обеспечивают лучшую в своем классе степень недоумения при заданном объеме памяти. Привет Венделлу и команде Level1Techs, форумам сообщества и каналу YouTube! ОГРОМНОЕ спасибо за предоставленную БОЛЬШУЮ экспертизу в области аппаратного обеспечения и доступ для проведения этих экспериментов и за то, что сделали эти замечательные квантовые данные доступными для сообщества!!! Также спасибо всем участникам сообщества по количественному анализу и выводам на BeaverAI Club Discord и на r/LocalLLaMA за советы и подсказки, помогающие друг другу запускать, тестировать и тестировать все интересные новые модели! Эти первые три являются просто проверочными показателями для сравнения базовой сложности: bf16 56,894 ГиБ (16,007 BPW) – Окончательная оценка: PPL = 9,5334 +/- 0,07560 Q80 30,247 ГиБ (8,510 BPW) – Окончательная оценка: PPL = 9,5317 +/- 0,07551 (ПРИМЕЧАНИЕ…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: ubergarm
Теги: gguf, imatrix, conversational, qwen3_moe, ik_llama.cpp
Лайков: 11 | Загрузок: 216
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
