Undi95/Llama2-13B-no_robots-alpaca-lora

Эта лора была обучена с использованием набора данных Doctor-Shotgun/no-robots-sharegpt на TheBloke/Llama-2-13B-fp16. Он достигает следующих результатов в оценочном наборе: — Потеря: 1,6087. LoRA был обучен на Doctor-Shotgun/no-robots-sharegpt, наборе данных, преобразованном ShareGPT из OG HuggingFaceH4/no_robots, но с подсказками Alpaca. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,00065 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: константа — lrschedulerwarmupsteps: 10 — num_epochs: 2 — Трансформеры 4.34.1 — Pytorch 2.0.1+cu117 — Наборы данных 2.14.6 — Токенизаторы 0.14.1

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Undi95
Теги: llama, generated_from_trainer, endpoints_compatible, 8-bit, bitsandbytes
Лайков: 11  |  Загрузок: 204

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.