Этот репозиторий предоставляет англо-японскую двуязычную модель GPT-NeoX, содержащую 3,8 миллиарда параметров. Модель основана на rinna/bilingual-gpt-neox-4b и настроена для использования в качестве диалогового агента, следующего за инструкциями. 36-слойная языковая модель на основе преобразователя с 2816 скрытыми размерами. Данные тонкой настройки представляют собой подмножество следующих наборов данных. Антропные данные HH RLHF и их японский перевод. Данные настройки инструкции FLAN и их японский перевод. Для создания входных данных был принят специальный формат. Подсказка для ввода форматируется как диалог между ユーザー и システム. Каждое входное высказывание состоит из (1) говорящего («ユーザー» или «システム»), (2) двоеточия («:»), (3) пробела («») и (4) текста высказывания (например, «世界で一番高い山は？»). Приглашение к вводу должно заканчиваться словами «システム:», чтобы подтвердить, что модель сгенерировала ответ. Все фразы в приглашении ввода должны быть разделены новой строкой n. Ниже приведен пример создания входных данных из разговора. ~~~python Prompt = [ { «speaker»: «ユーザー», «text»: «Здравствуйте, вы помощник, который помогает мне изучать японский язык.» }, { «speaker»: «システム», «text»: «Конечно, что я могу для тебя сделать?» }, { «speaker»: «ユーザー», «text»:…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: rinna
Теги: gpt_neox, ja, en, text-generation-inference
Лайков: 17 | Загрузок: 2,197
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
