Наши GGUF DeepSeek-V3-0324 позволяют запускать модель в llama.cpp, LMStudio, Open WebUI и других платформах вывода. Prelim = предварительный — в ходе нашего тестирования они в целом работают хорошо, но иногда не создают лучший код, поэтому необходимо провести дополнительную работу/тестирование. 2.71-битная версия оказалась лучшей с точки зрения производительности/размера и создает отличный и хорошо работающий код. Также было обнаружено, что 2.42-битная версия прошла все наши тесты. Поэтому для достижения наилучших результатов используйте версии 2,42-бит (IQ2XXS) или 2,71-бит (Q2K_XL). Хотя это и не обязательно, постарайтесь иметь как минимум 180 ГБ+ комбинированной видеопамяти + ОЗУ. Спасибо команде DeepSeek за выпуск мартовского обновления для моделей DeepSeek V3. Также спасибо Бартовски за предоставление иматричных квантов V3. У нас есть бесплатный блокнот Google Colab для превращения Llama 3.1 (8B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-GRPO.ipynb Все блокноты удобны для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. DeepSeek-V3-0324 демонстрирует заметные улучшения по сравнению со своим предшественником DeepSeek-V3 по нескольким ключевым…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: gguf, deepseek_v3, deepseek, unsloth, custom_code, en, endpoints_compatible, fp8
Лайков: 22 | Загрузок: 1,748
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
