Эта модель представляет собой доработанную версию TinyLlama/TinyLlama-1.1B-Chat-v1.0. Эта модель представляет собой языковую модель, способную делать прогнозы на основе карт Таро. Карты Таро, обученные отвечать на вопросы, связанные с такими темами, как любовь, карьера и жизнь в целом, являются основой предсказаний. Модель может делать прогнозы на основе выбранных карт Таро. Вы можете получить доступ к картам Таро из набора данных Таро. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0002 — размер пакета поезда: 4 — размер пакета evalbatch: 8 — начальный размер: 42 — градиентаккумуляция шагов: 8 — общий размер пакета поезда: 32 — оптимизатор: Адам с betas=(0,9,0,999) и эпсилон=1e-08 — lrschedulertype: косинус — шаги обучения: 250 — mixprecision_training: собственный AMP — PEFT 0.8.2 — Трансформеры 4.37.2 — Pytorch 2.1.0+cu121 — Наборы данных 2.17.1 — Токенизаторы 0.15.2
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: barissglc
Теги: peft, tensorboard, trl, sft, generated_from_trainer, text2text-generation, conversational
Лайков: 8 | Загрузок: 144
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
