Эта модель демонстрирует, что GPT-J может отлично работать в качестве модели «инструкций» при правильной настройке. Это версия fp16, которая позволяет легко развернуть модель на графическом процессоре начального уровня, таком как NVIDIA Tesla T4. Хотите узнать больше о NLP Cloud? Посмотрите нашу платформу здесь. Мы настроили GPT-J на наборе данных инструкций, созданном командой Стэнфордской команды Альпака. Вы можете найти исходный набор данных здесь. Набор данных был немного переработан, чтобы соответствовать формату тонкой настройки GPT-J с Mesh Transformer Jax на TPU. Вот окончательный набор данных, который мы использовали. Базовая модель GPT-J требует нескольких этапов обучения, чтобы правильно понять, чего вы хотите. Более подробную информацию о том, как правильно использовать обучение с помощью нескольких шагов, можно найти здесь. Например, предположим, что вы хотите исправить орфографию с помощью GPT-J. Вот пример подсказки, которую вам пришлось использовать: Теперь с помощью Instruct GPT-J вы можете задавать вопросы на естественном языке, «как человек»: вы также можете прекрасно продолжать использовать обучение в несколько шагов на этой модели для очень сложных случаев использования. Используя модель fp16 с конвейером генерации текста, вы можете сделать следующее: Вы также можете использовать функциюgenerate(). Вот что вы можете сделать: Благодаря точной настройке этой модели…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: nlpcloud
Теги: gptj, endpoints_compatible
Лайков: 91 | Загрузок: 43
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
