Более подробную инструкцию вы можете просмотреть в нашем блоге: unsloth.ai/blog/deepseek-r1 1. Не забывайте про токены! — Или используйте форматировщик шаблонов чата. 2. Получите последнюю версию llama.cpp по адресу https://github.com/ggerganov/llama.cpp. 3. Пример с квантованным кэшем Q80 K. Примечание. -no-cnv отключает режим автоматического диалога**. 4. Если у вас есть графический процессор (например, RTX 4090) с 24 ГБ, вы можете выгрузить несколько слоев в графический процессор для более быстрой обработки. Если у вас несколько графических процессоров, вы, вероятно, сможете разгрузить больше слоев. У нас есть бесплатный блокнот Google Colab для превращения Llama 3.1 (8B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3.1_(8B)-GRPO.ipynb Все блокноты удобны для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот разговорный блокнот Llama 3.2 (Conversational.ipynb) полезен для шаблонов ShareGPT ChatML/Vicuna. — Этот блокнот для завершения текста — TextCompletion.ipynb) предназначен для необработанного текста. Этот блокнот DPO копирует Zephyr. — Kaggle имеет 2x T4, но мы используем 1. Из-за накладных расходов 1x T4 работает в 5 раз быстрее. Огромное спасибо команде DeepSeek…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: unsloth
Теги: gguf, llama, deepseek, unsloth, llama-3, meta, en, endpoints_compatible
Лайков: 297 | Загрузок: 49,714
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
