Эта модель представляет собой доработанную версию google/gemma-7b в наборе данных HuggingFaceH4/deita-10k-v0-sft. Он достигает следующих результатов в оценочном наборе: — Потеря: 0,9732 Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — trainbatchsize: 4 — evalbatchsize: 4 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 16 -gradientaccumulationsteps: 2 — totaltrainbatchsize: 128 — totalevalbatchsize: 64 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupratio: 0.1 — num_epochs: 3 — Transformers 4.39.0.dev0 — Pytorch 2.1.2+cu121 — Наборы данных 2.14.6 — Токенизаторы 0.15.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HuggingFaceH4
Теги: tensorboard, gemma, alignment-handbook, trl, sft, generated_from_trainer, conversational, en
Лайков: 12 | Загрузок: 100
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
