Эта модель представляет собой тонко настроенную версию meta-llama/Meta-Llama-3-8B-Instruct по английскому переводу небольшого набора данных из 16 000 корейских патентов. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 5e-05 — размер партии: 2 — размер партии: 8 — семя: 42 — шаги градиентной аккумуляции: 8 — общий размер партии: 16 — оптимизатор: Адам с бета=(0,9,0,999) и эпсилон= 1e-08 — тип lrschedulertype: косинус — numepochs: 3,0 — mixedprecision_training: Нативный УСИЛИТЕЛЬ — Трансформаторы 4.39.3 — Pytorch 2.1.1 cu121 — Наборы данных 2.18.0 — Tokenizers 0.15.2
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kimhyeongjun
Теги: llama, llama-factory, full, generated_from_trainer, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
