Эта модель представляет собой доработанную версию vicgalle/gpt2-open-instruct-v1 для подмножества (15 тыс.) набора данных Anthropic/hh-rlhf. В наборе оценок достигаются следующие результаты: — Потеря: 2,1534 Эта модель довольно хорошо реагирует на подсказку «Человек:» или «Ассистент:» в ситуациях разговора. Более короткие ответы подходят лучше. Сохраняйте длину поколения разумным подмножеством. Предоставленное самому себе, оно будет иметь довольно эзотерические ответы. К ним относятся высказывания, не прошедшие цензуру, а иногда и вспышки насилия. Особенно, если задавать вопросы. Открытая инструкция GPT2 была полностью обучена на наборе данных открытых инструкций. Одна из головок LM представляет собой частичный адаптер rhlf с небольшими усилениями. Предназначен для изучения пересечения моделей инструкций и подсказок с упором на тонкий обмен подсказками. Вероятно, на данном этапе это необходимо существенно доработать. Во время обучения использовались следующие гиперпараметры: — скорость обучения: 0,0005 — trainbatchsize: 2 — evalbatchsize: 1 — начальное число: 42 — оптимизатор: Адам с betas=(0,9,0,999) и epsilon=1e-08 — lrschedulertype: линейный — lrschedulerwarmupsteps: 100 — num_epochs: 4 — Трансформеры 4.31.0 — Pytorch 2.0.1+cu118 — Наборы данных…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: jtatman
Теги: tensorboard, gpt2, generated_from_trainer, Transformers, GPT2, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 96
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
