> [!NOTE] > Чтобы исправить бесконечные поколения и получить инструкции по запуску QwQ-32B, просмотрите наше руководство здесь. > Qwen-QwQ-32B с нашими исправлениями ошибок. В нашей коллекции представлены версии QwQ-32B с исправлениями ошибок, включая GGUF и 4-битные форматы. Динамические кванты QwQ-32B от Unsloth квантоваются выборочно, что значительно повышает точность по сравнению со стандартными 4-битными числами. Настройте свою собственную модель рассуждения, такую как R1, с помощью Unsloth! Дополнительную информацию см. на https://docs.unsloth.ai/basics/tutorial-how-to-run-qwq-32b-without-bugs! > [!NOTE] > Чтобы остановить бесконечные поколения — добавьте —samplers «topk;topp;minp;temperature;dry;typp;xtc» > У нас есть бесплатный блокнот Google Colab для превращения Qwen2.5 (3B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2.5_(3B)-GRPO.ipynb Все блокноты удобны для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот разговорный блокнот Llama 3.2 (Conversational.ipynb) полезен для шаблонов ShareGPT ChatML/Vicuna. — Этот блокнот для завершения текста — TextCompletion.ipynb) предназначен для необработанного текста. Этот блокнот DPO копирует Zephyr. — …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: qwen2, chat, qwen, conversational, en, 4-bit, bitsandbytes
Лайков: 47 | Загрузок: 1,763
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
