Эта модель представляет собой дистиллированный вариант DeepSeek-R1 rinna/qwen2.5-bakeneko-32b, доработанный с использованием вектора чата и оптимизации предпочтений соотношения шансов (ORPO). Он соответствует формату чата DeepSeek-R1 и предназначен для обеспечения превосходной производительности при решении задач на японском языке. 64-слойная языковая модель на основе преобразователя скрытого размера 5120. Для полного понимания архитектуры обратитесь к техническому отчету Qwen2.5. Эта модель была разработана посредством многоэтапного процесса обучения: слияние моделей. Базовая модель rinna/qwen2.5-bakeneko-32b была дополнена возможностями следования инструкциям посредством процесса добавления вектора чата. Вектор чата был получен путем вычитания векторов параметров deepseek-ai/DeepSeek-R1-Distill-Qwen-32B из Qwen/Qwen2.5-32B следующим образом. ~~~~текст rinna/qwen2.5-bakeneko-32b + 1.0 * (deepseek-ai/DeepSeek-R1-Distill-Qwen-32B — Qwen/Qwen2.5-32B) ~~~~ Дистилляция и ОРПО. Объединенная модель была дополнительно усовершенствована с помощью ORPO, обученного на 1,2 тысячах тщательно отобранных выборок данных, сгенерированных DeepSeek-R1. Участники** — Синьци Чен — Тошиаки Вакацуки — Кей Савада ~~~python импортирует факел из трансформаторов, импортирует AutoTokenizer, AutoModelForCausalLM…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: rinna
Теги: qwen2, conversational, ja, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
