Инструктивная модель на основе Qwen-2.5-1.5B-Instruct, обученная на русскоязычном датасете GrandMaster-PRO-MAX с использованием SMPO (Simple Margin Preference Optimization). — 📚 Основа: Вихр-Qwen-2.5-1.5B-Instruct — 🇷🇺 Специализация: RU — 🌍 Поддержка: Двуязычная RU/EN QVikhr-2.5-1.5B-Instruct-SMPO представляет собой языковую модель, прошедшую специализированное обучение с использованием метода СМПО. Эта модель приводит к прогрессу в методах соревнований, особенно в области улучшения качества ответов за счет оптимизации внешнего вида. Для дальнейшего улучшения качества ответов мы использовали следующий пайплайн: — Использовали Skywork/Skywork-Reward-Llama-3.1-8B-v0.2 в качестве модели Reward — Дедуплицировали и отфильтровали с помощью RM модели оригинальный датасет Vikhrmodels/GrandMaster-PRO-MAX, получив уровень 10к самых высоких и достойных диалогов. — Сделали выборку отклонений с помощью чекпоинта SFT Vikhr-Qwen-2.5-1.5B-Instruct с использованием полученного набора данных и модели вознаграждения. (Сгенерировали 7 гипотез) — Обучили чекпоинт SFT с помощью нашего метода SMPO, используя полученный набор данных из этапов 3. SMPO был задан и выбран в качестве метода для измерения стабильности тренировки…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Vikhrmodels
Теги: qwen2, conversational, ru, en, text-generation-inference, endpoints_compatible
Лайков: 16 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
