This model is finetuned on a merged dataset of: oasst1-en, alpaca-cleaned and airoboros-2.1-no-code on a base model: Marx-3b-V2 — License: «Creative-Commons-Attribution-4.0» — Language: «en» — Size: «3.43b params» This model took 2:40:54 to train in LoRA on a single A100 40gb GPU. — epochs: 1 — train batch size: 8 — eval batch size: 8 — gradient accumulation steps: 1 — maximum gradient normal: 0.3 — learning rate: 2e-4 — weight decay: 0.001 — optimizer: pagedadamw32bit — learning rate schedule: cosine — warmup ratio (linear): 0.03
Модальности:
Генерация текста
Задача: Генерация текста
Автор: AtAndDev
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.