> ~3 ГБ оперативной памяти — это все, что вам нужно. Ноутбук, старый графический процессор, коробки класса Raspberry-Pi- с подкачкой — сборка Q4 работает > везде. Одна команда, и у вас есть частная, автономная модель рассуждений на вашей машине: > > Чистые ответы, структурированные рассуждения, инстинкты агента — и артефакты расшифровки, которые просочились в ответы v1, исчезли. Одна сделка, сделанная специально: сырой синтез функций в стиле HumanEval остается в основе базовой модели (81,7 против 70,1) — вместо этого v2 тратит эту емкость на поведение агента и тратит вдвое меньше, чем v1. Примечания к измерению ниже. 👇 Интеллект на гигабайт: сборка Q4KM набирает 70,1 HumanEval в 2,1 ГБ — ~33 очка/ГБ; Q4 класса 8B требует ~5 ГБ для своего счета. Если ОЗУ является вашим ограничением, это сладкая точка плотности семьи. Full-precision safetensors (vLLM, transformers, further fine-tuning): Parable-Granite-4.1-3B-Claude-Fable-5 LM Studio / Jan / Open WebUI: search «parable» in-app, or paste this repo URL. Каждый ответ открывается… блоком рассуждений — это наследие Fable 5. режим —jinja llama.cpp разделяет его автоматически; удаляйте его, прежде чем показывать ответы конечным пользователям. Отбор проб: температура 0,7, топп 0,95 и щедрые бюджетные макстокены (2500 ) —…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: AnkitAI
Теги: gguf, qlora, agentic, agent, coding, tool-use, function-calling, terminal
Лайков: 3 | Загрузок: 167,177
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
