ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать его перед загрузкой моих квантов. Некоторые из новых квантов ik поддерживаются ветвью Nexesenex/croco.cpp KoboldCPP со сборками Windows. Также проверьте наличие сборок Windows ik_llama.cpp от Thireus здесь. Эти кванты обеспечивают лучшее в своем классе недоумение для данного объема памяти. Привет Венделлу и команде Level1Techs, форумам сообщества и каналу YouTube! ОГРОМНОЕ спасибо за предоставленную БОЛЬШУЮ экспертизу в области аппаратного обеспечения и доступ для проведения этих экспериментов и за то, что сделали эти замечательные квантовые данные доступными для сообщества!!! Также спасибо всем участникам сообщества по количественному анализу и выводам на BeaverAI Club Discord и на r/LocalLLaMA за советы и подсказки, помогающие друг другу запускать, тестировать и тестировать все интересные новые модели! Спасибо HuggingFace за организацию всех этих больших квантов! Наконец, я очень ценю поддержку со стороны aifoundry.org, поэтому ознакомьтесь с их решениями на базе RISC-V с открытым исходным кодом! Недоумение рассчитывается на основе wiki.test.raw. (ниже — «лучше»). Эти два показателя — всего лишь тестовые показатели для сравнения базового уровня недоумения, их нельзя скачать здесь: BF16 1404,406 ГиБ (16,003 BPW) — PPL…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ubergarm
Теги: gguf, imatrix, conversational, glm_moe_dsa, ik_llama.cpp, en, zh, endpoints_compatible
Лайков: 16 | Загрузок: 91
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
