Данная модель представляет собой доработанную версию microsoft/Phi-3-mini-4k-instruct на датасете kobprof/skolegpt-instruct. Он достигает следующих результатов в наборе оценки: — Потеря: 1,5493 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — размер партии: 4 — размер партии: 4 — семя: 42 — распределенный тип: мульти-GPU — количество устройств: 4 — общий размер партии: 16 — общий размер партии: 16 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: косинус — lrschedulerwarmupratio: 0,2 — количество эпох: 1 — Трансформаторы 4.41.0.dev0 — Pytorch 2.2.0 — Набор данных
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: emillykkejensen
Теги: phi3, trl, sft, generated_from_trainer, danish, conversational, custom_code, text-generation-inference
Лайков: 3 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
