Эта модель представляет собой версию Mistral 7B, согласованную с DPO, на наборах данных HuggingFaceH4/ultrafeedbackbinarizedfixed и HuggingFaceH4/cai-conversation-safe. Он достигает следующих результатов в наборе оценок: — Потеря: 0,6327 — Награды/выбрано: -9,8716 — Награды/отклонено: -14,5465 — Награды/точность: 0,6725 — Награды/прибыль: 4,6749 — Журналы/отклонены: -329,8578 — Журналы/выбраны: -294,6768 — Логиты/отклонено: -2,1023 — Логиты/выбрано: -2,1648 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-07 — trainbatchsize: 2 — evalbatchsize: 8 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 8 — totaltrainbatchsize: 16 — totalevalbatchsize: 64 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupratio: 0,1 — num_epochs: 3 — Трансформаторы 4.36.2 — Pytorch 2.1.2+cu121 — Наборы данных 2.16.1 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HuggingFaceH4
Теги: mistral, alignment-handbook, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
