Эта модель представляет собой доработанную версию мета-ламы/Мета-Лламы-3-8B в наборе данных ahmedsamirio/oasst2-9k-translation. Эта модель представляет собой попытку создать небольшую модель перевода с английского на египетский арабский язык. — Перевод наборов данных точной настройки инструкций и генерации текста. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 2e-05 — trainbatchsize: 2 — evalbatchsize: 2 — начальное число: 42 — градиентаккумуляция шагов: 4 — totaltrainbatchsize: 8 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: косинус — lrschedulerwarmupsteps: 10 — numepochs: 2 — PEFT 0.11.1 — Трансформаторы 4.42.3 — Pytorch 2.1.2+cu118 — Наборы данных 2.19.1 — Токенизаторы 0.19.1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ahmedsamirio
Теги: llama, axolotl, generated_from_trainer, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
