Pymalion 1.3B — это экспериментальная диалоговая модель, основанная на дедупликации pythia-1.3b от EleutherAI. Внимание: эта модель НЕ подходит для использования несовершеннолетними. При определенных обстоятельствах он будет выводить контент с рейтингом X. Набор данных для точной настройки состоял из 56 МБ данных диалогов, собранных из нескольких источников, включая как реальные, так и частично сгенерированные машиной разговоры. Точная настройка была выполнена с помощью ColossalAI (в частности, с немного измененной версией их примера тонкой настройки OPT) примерно для 11,4 миллионов токенов за 5440 шагов на одном графическом процессоре емкостью 24 ГБ. Пробег занял чуть меньше 21 часа. Мы предоставляем ноутбук с пользовательским интерфейсом Gradio, чтобы можно было экспериментировать с моделью без необходимости форматировать входные данные вручную. Этот блокнот можно найти здесь. Модель можно использовать как обычную модель генерации текста, но она будет работать лучше всего, если приглашение для ввода будет соответствовать следующему формату: где [CHARACTER] — это, как вы, вероятно, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, а [ИСТОРИЯ ДИАЛОГОВ] — это история чата, поэтому модель может иметь некоторый разговорный контекст, из которого можно извлечь некоторый контекст разговора. В идеале это будут пары сообщений, например: Помимо истории чата, вы также можете просто добавить примеры разговоров в…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PygmalionAI
Теги: tensorboard, gpt_neox, text generation, conversational, en, text-generation-inference
Лайков: 68 | Загрузок: 998
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
