ОБРАТИТЕ ВНИМАНИЕ, что ikllama.cpp также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. Д., Если вы хотите попробовать его перед загрузкой моих квантов. Некоторые из новых квантов ik поддерживаются форком Nexesenex/croco.cpp KoboldCPP со сборками Windows для CUDA 12.9. Также проверьте сборки Windows от Thireus здесь. которые были CUDA 12.8. Эти кванты обеспечивают лучшее в своем классе недоумение для заданного объема памяти. Кричите Венделлу и команде Level1Techs, форумам сообщества, каналу YouTube! БОЛЬШОЕ спасибо за предоставление БОЛЬШОГО опыта и доступа к аппаратному обеспечению для проведения этих экспериментов и предоставления этих замечательных квантов сообществу!!! Также спасибо всем людям в сообществе квантования и вывода на BeaverAI Club Discord и на r/LocalLLaMA за советы и рекомендации, помогающие друг другу запускать, тестировать и тестировать все забавные новые модели! Спасибо huggingface за размещение всех этих больших квантов! Наконец, я очень ценю поддержку от aifoundry.org, поэтому ознакомьтесь с их решениями на основе RISC-V с открытым исходным кодом! Эти первые два являются просто тестовыми квантами для сравнения недоумения на исходном уровне: BF16 575,238 ГиБ (16,003 BPW) — Окончательная оценка: PPL более 584 кусков для nctx=512 = 9,2268 /- 0,07375 …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ubergarm
Теги: gguf, imatrix, conversational, ik_llama.cpp, mimo_v2_flash, endpoints_compatible
Лайков: 4 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
