Научно откалиброванный 4-разрядный GGUF deepseek-ai/DeepSeek-R1-Distill-Llama-70B с использованием матрицы важности, вычисленной на наборе данных математических рассуждений MetaMathQA. — Q4KM GGUF модели рассуждений 70B, подходящей для llama.cpp и совместимых сред выполнения. — Матрица важности научной области и текст калибровки / оценки на основе MetaMathQA, используемый для принятия решений о квантовании. — Простое недоумение и контрольные показатели пропускной способности по сравнению с оригинальный BF16 GGUF и универсальная (WikiText-калиброванная) модель Q4KM. Код — матрица важности imatrixscience.dat → Legacy (.dat), созданная llama-imatrix на тексте MetaMathQA. Это не** необходимо во время вывода, но включено для прозрачности и воспроизводимости. — sciencecalibration.txt Корпус → калибровки открытого текста, используемый llama-imatrix для построения imatrixscience.dat. Каждая строка представляет собой математическую цепочку ответов навопрос…
Модальности:
Генерация текста
Области применения:
Математика Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: ErikFeng
Теги: llama.cpp, gguf, quantization, q4_k_m, deepseek-r1, reasoning, mathematics, MetaMathQA
Лайков: 3 | Загрузок: 107
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
