winglian/mistral-orpo

This model is a fine-tuned version of mistralai/Mistral-7B-v0.1 on the None dataset. The following hyperparameters were used during training: — learningrate: 3e-06 — trainbatchsize: 1 — evalbatchsize: 1 — seed: 42 — gradientaccumulationsteps: 8 — totaltrainbatchsize: 8 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 100 — numepochs: 1 — Transformers 4.38.2 — Pytorch 2.1.2+cu118 — Datasets 2.18.0 — Tokenizers 0.15.0

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: winglian
Теги: mistral, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 15

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.