AtAndDev/ShortKing-3b-v0.2 - Каталог нейросетей
Генерация текста

AtAndDev/ShortKing-3b-v0.2

Добавлено:

This model is finetuned on a merged dataset of: oasst1-en, alpaca-cleaned and airoboros-2.1-no-code on a base model: Marx-3b-V2 — License: «Creative-Commons-Attribution-4.0» — Language: «en» — Size: «3.43b params» This model took 2:40:54 to train in LoRA on a single A100 40gb GPU. — epochs: 1 — train batch size: 8 — eval batch size: 8 — gradient accumulation steps: 1 — maximum gradient normal: 0.3 — learning rate: 2e-4 — weight decay: 0.001 — optimizer: pagedadamw32bit — learning rate schedule: cosine — warmup ratio (linear): 0.03

Модальности:
Генерация текста


Задача: Генерация текста
Автор: AtAndDev
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 39

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.