Magpie-Align/Llama-3-8B-OpenHermes-2.5-1M

This model is a fine-tuned version of meta-llama/Meta-Llama-3-8B on the None dataset. It achieves the following results on the evaluation set: — Loss: 0.6993 The following hyperparameters were used during training: — learningrate: 2e-05 — trainbatchsize: 1 — evalbatchsize: 1 — seed: 42 — distributedtype: multi-GPU — numdevices: 4 — gradientaccumulationsteps: 8 — totaltrainbatchsize: 32 — totalevalbatchsize: 4 — optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 — lrschedulertype: cosine — lrschedulerwarmupsteps: 100 — num_epochs: 2 — Transformers 4.40.2

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: Magpie-Align
Теги: llama, axolotl, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 3  |  Загрузок: 20

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.