Газель v0.2 — середина марта от Tincans совместной речево-языковой модели. Этот репозиторий содержит экспериментальную настройку DPO. Насколько нам известно, это первая мультимодальная настройка DPO речевой модели — вход звука, вывод текста. Используемые наборы данных: snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset (первая итерация) и jondurbin/truthy-dpo-v0.1. Мы обучались в течение 2 эпох с max_lr=3e-4, размером партии 32, 10 шагами разминки, косинусным затуханием. Мы можем видеть некоторые явные признаки моделирования предпочтений, особенно более длинные ответы, которых нет в базовой модели, настроенной на инструкции. В целом мы оцениваем качество как неоднозначное и приветствуем эксперименты, но не предлагаем использовать продукт в промышленных целях.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tincans-ai
Теги: gazelle, en, endpoints_compatible
Лайков: 20 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
