Этот репозиторий содержит файлы модели формата GGUF для DeepSeek-R1-Distill-Qwen-1.5B, квантованные с помощью llama.cpp. Все модели были квантованы в соответствии с инструкциями, предоставленными llama.cpp. Это: Оригинальная модель: https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B Комплексный анализ с диаграммами производительности предоставлен Artefact2 здесь. 1. Определение размера модели: начните с проверки объема оперативной и виртуальной памяти, доступных в вашей системе. Это поможет вам выбрать максимально возможную модель, которую вы можете запустить. 2. Оптимизация для скорости: — Использование графического процессора: чтобы запустить вашу модель как можно быстрее, постарайтесь поместить всю модель в VRAM вашего графического процессора. Выберите версию, которая на 1-2 ГБ меньше, чем общая VRAM. 3. Максимизация качества: — Комбинированная память: для максимально возможного качества суммируйте системную ОЗУ и VRAM графического процессора. Затем выберите модель, которая на 1-2 ГБ меньше этой общей суммы. 1. Простота: — K-Quant: Если вы предпочитаете простой подход, выберите модель K-quant. Они помечены как «QXKX», например, Q5KM. 2. Расширенная конфигурация: — диаграмма характеристик: для более детального выбора обратитесь к матрице характеристик llama.cpp. — Модели I-Quant: лучше всего подходят для конфигураций…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: hdnh2006
Теги: gguf, deepseek, llama.cpp, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 306
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
