> [!NOTE] > Чтобы исправить бесконечные поколения + инструкции по запуску QwQ-32B, прочитайте наше руководство здесь. > Unsloth Dynamic v2.0 обеспечивает превосходную точность и превосходит другие ведущие методы количественного анализа. Qwen-QwQ-32B с нашими исправлениями ошибок. В нашей коллекции представлены версии QwQ-32B, включая GGUF и 4-битные форматы. Динамические кванты Unsloth QwQ-32B квантоваются выборочно, что значительно повышает точность по сравнению со стандартными 4-битными числами. Настройте свою собственную модель рассуждения, такую как R1, с помощью Unsloth! Дополнительную информацию см. на https://docs.unsloth.ai/basics/tutorial-how-to-run-qwq-32b-without-bugs! > [!NOTE] > Чтобы остановить бесконечные поколения — добавьте —samplers «topk;topp;minp;temperature;dry;typp;xtc» > У нас есть бесплатный блокнот Google Colab для превращения Qwen2.5 (3B) в модель рассуждения: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Qwen2.5_(3B)-GRPO.ipynb Все блокноты удобны для начинающих! Добавьте свой набор данных, нажмите «Запустить все», и вы получите в 2 раза более быструю точно настроенную модель, которую можно экспортировать в GGUF, vLLM или загрузить в Hugging Face. — Этот разговорный блокнот Llama 3.2 (Conversational.ipynb) полезен для шаблонов ShareGPT ChatML/Vicuna. — Это завершение текста…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: gguf, qwen2, chat, qwen, en, endpoints_compatible, imatrix, conversational
Лайков: 86 | Загрузок: 1,671
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
