> ~4 ГБ ОЗУ — это все, что вам нужно. Ноутбук, старый графический процессор, скромный настольный компьютер — сборка Q4 работает где угодно. > Одна команда, и у вас есть частная автономная модель рассуждения на вашем компьютере: > > Safetensors полной точности (vLLM, трансформаторы, дальнейшая точная настройка): Parable-Qwen3-4B-Claude-Fable-5 Ollama (более короткая команда через пространство имен Parable или прямо из этого репозитория): LM Studio: lms получите parable/qwen3-fable или выполните поиск «parable» в приложении (parable на LM Studio) Хаб). Каждый ответ начинается с… блока рассуждений — это наследие Fable 5. Режим чата —jinja в llama.cpp отделяет его автоматически; удалите его, прежде чем показывать ответы конечным пользователям. Выборка: температура 0,3–0,7 и щедрый максимальный бюджет токенов (≥ 2500**) — модели, обученные трассировке, долго думают, прежде чем ответить, и короткий бюджет может отрезать их на полпути. Эта потеря при тестировании -47% и точность токена 0,782 поставили его в один ряд с моделями вдвое большего размера, обученными на аналогичных трассах. Качественная проверка (34 подсказки по кодированию/терминалу/отладке, признанные чистыми и правильными): из подсказок, на которые был получен окончательный ответ, 92% были правильными. Остальные столкнулись с ограничениями бюджета на рассуждения, а не с неправильными ответами (всего 23/34 при бюджете в 2600 токенов;…
Модальности:
Генерация текста
Области применения:
Генерация кода Логика и рассуждение Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: AnkitAI
Теги: gguf, qlora, agentic, agent, coding, tool-use, function-calling, terminal
Лайков: 6 | Загрузок: 1,419
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
