Vishaltiwari2019/gemma-tf-dolly

Эта модель представляет собой доработанную версию google/gemma-2b в наборе данных генератора. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — trainbatchsize: 4 — evalbatchsize: 8 — начальное число: 42 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: константа — lrschedulerwarmupratio: 0,03 — num_epochs: 1 — PEFT 0.10.0 — Трансформеры 4.39.3 — Pytorch 2.2.1+cu121 — Наборы данных 2.18.0 — Токенизаторы 0.15.2

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Vishaltiwari2019
Теги: peft, tensorboard, trl, sft
Лайков: 4  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.