Эта модель представляет собой тонкую настройку Qlora для мета-ламы/Мета-ламы-3-8B из набора данных Стэнфордской энциклопедии философии. Он предназначен для ответов на философские вопросы в более формальном тоне. Кроме того, набор данных чата был отформатирован с использованием следующего формата чата: Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — trainbatchsize: 8 — evalbatchsize: 8 — начальное число: 42 — градиентаккумуляциястепени: 4 — общий размер поезда: 32 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: константа — lrschedulerwarmupratio: 0,03 — число периодов: 3 — PEFT 0.10.0 — Трансформаторы 4.40.1 — Pytorch 2.2.2+cu121 — Наборы данных 2.19.0 — Токенизаторы 0.19.1
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ruggsea
Теги: llama, trl, sft, generated_from_trainer, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
