Pymalion 2.7B — это экспериментальная модель диалога, основанная на gpt-neo-2.7B от EleutherAI. Внимание: эта модель НЕ подходит для использования несовершеннолетними. При определенных обстоятельствах он будет выводить контент с рейтингом X. Набор данных для точной настройки состоял из 56 МБ данных диалогов, собранных из нескольких источников, включая как реальные, так и частично сгенерированные машиной разговоры. Веса модели были инициализированы на основе модели ConvoGPT uft-2.7b, доступной в этом коммите. Затем модель была доработана на ~48,5 миллионах токенов и ~5000 шагов на 4 NVIDIA A40 с использованием DeepSpeed. Мы предоставляем ноутбук с пользовательским интерфейсом Gradio, чтобы можно было экспериментировать с моделью без необходимости форматировать входные данные вручную. Этот блокнот можно найти здесь. Модель можно использовать в качестве обычной модели генерации текста, но она будет работать лучше всего, если приглашение ввода будет соответствовать следующему формату: где [CHARACTER] — это, как вы, вероятно, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, следует использовать дословно в качестве маркера-разделителя для отделения данных о личности и сценарии от диалога, а [ИСТОРИЯ ДИАЛОГОВ] — это история чата, чтобы модель могла иметь некоторый разговорный контекст, из которого можно было бы извлечь информацию. В идеале это будут пары сообщений…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PygmalionAI
Теги: tensorboard, gpt_neo, text generation, conversational, en
Лайков: 59 | Загрузок: 931
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
