Эта модель была доработана на основе набора данных Spicyboros-3.1 поверх модели Yi-34B-Llama. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0001 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — распределенный тип: multi-GPU — numdevices: 2 — totaltrainbatchsize: 4 — totalevalbatchsize: 4 — оптимизатор: Адам с betas=(0.9,0.999) и epsilon=1e-08 — lrschedulertype: константа — число периодов: 1 — Трансформеры 4.34.1 — Pytorch 2.0.1+cu118 — Наборы данных 2.14.6 — Токенизаторы 0.14.1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LoneStriker
Теги: llama, generated_from_trainer, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
