Кванты GGUF для llama.cpp, Ollama и LM Studio. Поставлено пять квантов — выбирайте по бюджету оперативной памяти. — Формат — GGUF — Отгруженные количества — Q3KM, Q4KM, Q5KM, Q80, F16 — Рекомендуется — Q4KM для 16 ГБ ОЗУ, Q80 для качества — Время выполнения — llama.cpp, Ollama, LM Studio, koboldcpp Тонкая настройка OpenAI gpt-oss-20b для Hermes-Agent, среды локальных агентов, которой нужны модели, вызывающие инструменты. надежно, следуйте многооборотным инструкциям и не спорьте с подсказками системы. Базовой моделью является версия Mixture-of-Experts от OpenAI с 21B параметров (3,6B активных). Эта тонкая настройка сохраняет шаблон чата Harmony и ручку рассуждения и улучшает: — Приверженность вызову функций (правильный JSON, отсутствие комментариев в середине вызова) — Длинные циклы агента (более 10 поворотов инструмента → наблюдение → план) — Точность системных подсказок (соблюдает границы ролей и правила отказа/списка разрешений). Он не связан с серией моделей Hermes от NousResearch. «Гермес-Агент» здесь относится только к локальной агентской структуре. (Размеры приблизительные; проверьте список файлов на наличие точных байтов.) Найдите fesalfayed/gpt-oss-20b-hermesagent-tool-finetunegguf на вкладке «Обнаружение» и выберите квант. Включите «Использовать шаблон чата Jinja» в настройках модели, чтобы…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: fesalfayed
Теги: gguf, gpt-oss, moe, agent, hermes-agent, tool-use, function-calling, harmony
Лайков: 5 | Загрузок: 2,892
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
