Квантованные версии AIDC-AI/Marco-DeepResearch-8B с матрицей важности (imatrix) GGUF для использования с llama.cpp и совместимыми механизмами вывода. Для стандартных квантований без матрицы важности см. Marco-DeepResearch-8B-GGUF. Marco DeepResearch — это эффективный агент глубоких исследований масштаба 8B, разработанный Alibaba International Digital Commerce (AIDC-AI) на основе Qwen3-8B. Он автономно проводит открытые расследования, объединяя сложный поиск информации с многоэтапным рассуждением из различных веб-источников. Модель использует инструменты (поиск, посещение) для итеративного веб-исследования со встроенной проверкой. При максимальном бюджете в 600 вызовов инструментов Marco DeepResearch значительно превосходит других агентов масштаба 8B и превосходит или приближается к нескольким агентам масштаба 30B по сложным критериям. Стандартное квантование одинаково обрабатывает все веса модели при уменьшении точности. Квантование матрицы важности улучшает эту задачу, сначала профилируя модель с помощью калибровочных данных, чтобы определить, какие веса наиболее важны для качества вывода. Во время квантования более важные веса сохраняются с более высокой точностью, тогда как менее важные веса сжимаются более агрессивно. Результат…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ATH-MaaS
Теги: gguf, quantized, imatrix, importance-matrix, deep-research, agent, information-seeking, web-search
Лайков: 5 | Загрузок: 387
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
