Квантованная GGUF-версия JetBrains/Mellum2-12B-A2.5B-Thinking для использования с llama.cpp. > ⚠️ Требуется llama.cpp с поддержкой архитектуры Mellum. Этого еще нет в основной ветке llama.cpp — используйте PR #23966 или сборку, включающую его. В режиме мышления используйте Reasoningbudget` для ограничения жетонов рассуждений: Протестировано на GTX 1060 6 ГБ: ~18 т/с с ncmoe=20, ~22 т/с с ncmoe=10. — JetBrains для исходной модели Mellum2 — llama.cpp для механизма вывода
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: RJ000
Теги: gguf, llama.cpp, mellum, moe, code, quantized, en, endpoints_compatible
Лайков: 9 | Загрузок: 3,049
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
