Эта модель представляет собой настроенный на инструкции вариант рассуждений rinna/qwen2.5-bakeneko-32b, точно настроенный с использованием вектора чата и оптимизации предпочтений соотношения шансов (ORPO). Он соответствует формату чата Qwen/QwQ-32B и предназначен для обеспечения превосходной производительности при решении задач на японском языке. 64-слойная языковая модель на основе преобразователя скрытого размера 5120. Для полного понимания архитектуры обратитесь к техническому отчету Qwen2.5. Эта модель была разработана посредством многоэтапного процесса обучения: слияние моделей. Базовая модель rinna/qwen2.5-bakeneko-32b была дополнена возможностями следования инструкциям посредством процесса добавления вектора чата. Вектор чата был получен путем вычитания векторов параметров Qwen/QwQ-32B из Qwen/Qwen2.5-32B следующим образом. ~~~~text rinna/qwen2.5-bakeneko-32b + 0,8 * (Qwen/QwQ-32B — Qwen/Qwen2.5-32B) ~~~~ Во время этого процесса слой внедрения был опущен при выполнении вычитания и сложения векторов параметров. Дистилляция и ОРПО. Объединенная модель была дополнительно усовершенствована с помощью ORPO, обученного на 1,3 тысячах тщательно отобранных выборок данных, сгенерированных DeepSeek-R1. Участники** — Синьци Чен — Тошиаки Вакацуки — Кей Савада ~~~python…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rinna
Теги: qwen2, conversational, ja, text-generation-inference, endpoints_compatible
Лайков: 21 | Загрузок: 142
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
