Эта модель представляет собой доработанную версию teknium/OpenHermes-2.5-Mistral-7B с поддержкой RL для наборов данных Intel/orcadpopairs и wingian/norobotsrlhf. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — trainbatchsize: 4 — evalbatchsize: 8 — начальное число: 42 — градиентаккумуляция шагов: 4 — totaltrainbatchsize: 16 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupsteps: 20 — шаги обучения: 1348 — Трансформеры 4.35.2 — Pytorch 2.0.1+cu118 — Наборы данных 2.15.0 — Токенизаторы 0.15.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openaccess-ai-collective
Теги: mistral, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
