Модель DeepSeek-R1-Distill-Qwen-1.5B представляет собой усовершенствованный вариант языковой модели Qwen, разработанный для обеспечения эффективного вывода при сохранении сильных логических способностей. Квантование обычно используется для сжатия моделей путем представления их весов и активаций в форматах пониженной точности, что повышает скорость и эффективность использования памяти. В данном отчете представлено сравнительное исследование квантованных вариантов языковой модели DeepSeek-R1-Distill-Qwen-1.5B. Оцениваются две модели, разработанные с использованием обучения с учетом квантования (QAT): DheyoAI/DeepSeek-R1-Distill-Qwen-1.5B-baseline (базовый уровень Dheyo) (1,74 ГБ) и DheyoAI/DeepSeek-R1-Distill-Qwen-1.5B-pct5 (Dheyo pct5) (1,57 ГБ). Эти модели сравниваются с исходной моделью полной точности deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B (3,39 ГБ) и двумя квантованными базовыми линиями от Unsloth: unsloth/DeepSeek-R1-Distill-Qwen-1.5B-Q8 (1,89 ГБ) и unsloth/DeepSeek-R1-Distill-Qwen-1.5B-Q5KM** (1,29 ГБ). — DheyoAI/DeepSeek-R1-Distill-Qwen-1.5B-baseline (базовый уровень Dheyo) — это квантованная модель объемом 1,74 ГБ с самой высокой точностью GSM8K (78,92%) среди всех вариантов. — Он превосходит unsloth/DeepSeek-R1-Distill-Qwen-1.5B-Q8 на GPQA Diamond (31,82%…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: DheyoAI
Теги: gguf, qwen2, en, endpoints_compatible, conversational
Лайков: 6 | Загрузок: 95
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
