Pymalion 6B — это экспериментальная модель диалога, основанная на GPT-J-6B от EleutherAI. Внимание: эта модель НЕ подходит для использования несовершеннолетними. При определенных обстоятельствах он будет выводить контент с рейтингом X. Набор данных для точной настройки состоял из 56 МБ данных диалогов, собранных из нескольких источников, включая как реальные, так и частично сгенерированные машиной разговоры. Веса модели были инициализированы на основе модели ConvoGPT uft-6b, доступной в этом коммите. Затем модель была доработана на ~48,5 миллионах токенов и ~5000 шагов на 4 NVIDIA A40 с использованием DeepSpeed. Мы предоставляем ноутбук с пользовательским интерфейсом Gradio, чтобы можно было экспериментировать с моделью без необходимости форматировать входные данные вручную. Этот блокнот можно найти здесь. Модель можно использовать как обычную модель генерации текста, но она будет работать лучше всего, если приглашение ввода будет придерживаться следующего формата: где [CHARACTER] — это, как вы, вероятно, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, должно использоваться дословно в качестве маркера-разделителя для отделения данных о личности и сценарии от диалога, а [ИСТОРИЯ ДИАЛОГОВ] — это история чата, поэтому модель может иметь некоторый разговорный контекст, из которого можно извлечь некоторый контекст разговора. В идеале это будут пары сообщений вроде:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: PygmalionAI
Теги: tensorboard, gptj, text generation, conversational, en
Лайков: 752 | Загрузок: 1,603
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
