Для этой коллекции квантов ТРЕБУЕТСЯ разветвление ikllama.cpp для поддержки расширенных нелинейных квантов SotA и многоголового скрытого внимания (MLA). Не** загружайте эти большие файлы и рассчитывайте, что они будут работать на основных версиях vanilla llama.cpp, ollama, LM Studio, KoboldCpp и т. д.! ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать его перед загрузкой моих квантов. Эти кванты обеспечивают лучшую в своем классе степень недоумения при заданном объеме памяти. Поддержка MLA обеспечивает длину контекста более 32 тыс. в видеопамяти графического процессора объемом менее 24 ГБ для R1 и V3, одновременно выгружая уровни MoE в ОЗУ. Эти кванты специально разработаны для систем ЦП+ГП с объемом видеопамяти менее 16 ГБ или 24 ГБ, а также для систем, использующих только ЦП и использующих динамическую переупаковку квантов (для максимальной пропускной способности памяти). Если у вас больше видеопамяти, теперь вы можете загружать переупакованные кванты R4 в графические процессоры, начиная с ik_llama.cpp PR462. Так что теперь эти кванты хороши и для установок с несколькими графическими процессорами! Вы можете быстро опробовать ikllama.cpp с существующими* квантами, поскольку он вычисляет тензоры MLA и переупаковывает кванты «на лету» при запуске (если у вас достаточно RAM+VRAM для размещения всей модели). Тогда приходите и проверьте эти количественные показатели жира здесь, как только вы увидите разницу. Крикните, чтобы…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: ubergarm
Теги: gguf, mla, imatrix, conversational, ik_llama.cpp
Лайков: 50 | Загрузок: 166
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
