Используя ветку llama.cpp gpt-oss-mxfp4, PR здесь: https://github.com/ggml-org/llama.cpp/pull/15091. Это один статический квант в новом формате MXFP4, остальные размеры появятся после объединения PR.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, endpoints_compatible, conversational
Лайков: 11 | Загрузок: 230
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.