Квантованные версии GGUF AIDC-AI/Marco-DeepResearch-8B для использования с llama.cpp и совместимыми механизмами вывода. Marco DeepResearch — это эффективный агент глубоких исследований масштаба 8B, разработанный Alibaba International Digital Commerce (AIDC-AI) на основе Qwen3-8B. Он автономно проводит открытые расследования, объединяя сложный поиск информации с многоэтапным рассуждением из различных веб-источников. Модель использует инструменты (поиск, посещение) для итеративного веб-исследования со встроенной проверкой. При максимальном бюджете в 600 вызовов инструментов Marco DeepResearch значительно превосходит других агентов масштаба 8B и превосходит или приближается к нескольким агентам масштаба 30B по сложным критериям. — Лучшее качество: Q80 или Q6K — рекомендуется, если у вас достаточно оперативной/видеопамяти. — Лучший баланс: Q5KM — рекомендуется большинству пользователей. — Ограничение памяти: Q4KM — лучшее качество при 4-битном квантовании. — Экстремальные ограничения: Q3KM или ниже — ожидайте заметной потери качества. 1. Загрузите нужный файл квантования (например, Marco-DeepResearch-8B-Q5KM.gguf). 2. Откройте LM Studio и импортируйте файл модели. 3. Настройте параметры генерации: Температура 0,7, Top-P 0,95. 4. Установите длину контекста 32768 (или больше, если вы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ATH-MaaS
Теги: gguf, quantized, deep-research, agent, information-seeking, web-search, verification, react
Лайков: 5 | Загрузок: 533
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
