Или вы можете просмотреть более подробную инструкцию здесь: unsloth.ai/blog/deepseekr1-dynamic 1. Не забывайте про и токены! — Или используйте средство форматирования шаблонов чата. 2. Получите последнюю версию llama.cpp по адресу https://github.com/ggerganov/llama.cpp. Вы также можете следовать приведенным ниже инструкциям по сборке: 3. Лучше всего использовать —min-p 0.05, чтобы противодействовать предсказаниям очень редких токенов — я обнаружил, что это хорошо работает, особенно для 1,58-битной модели. 4. Загрузите модель через: 5. Пример с квантованным кэшем Q40 K. Примечание. -no-cnv отключает режим автоматического диалога** 6. Если у вас есть графический процессор (например, RTX 4090) с 24 ГБ, вы можете выгрузить несколько слоев в графический процессор для более быстрой обработки. Если у вас несколько графических процессоров, вы, вероятно, сможете разгрузить больше слоев. 7. Если вы хотите объединить веса, используйте этот скрипт: У нас есть бесплатный блокнот Google Colab для превращения Llama 3.1 (8B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-GRPO.ipynb Все блокноты удобны для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Эта разговорная Лама 3.2…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: unsloth
Теги: gguf, deepseek_v3, deepseek, unsloth, custom_code, en, endpoints_compatible, conversational
Лайков: 1,107 | Загрузок: 20,386
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
