Этот репозиторий предоставляет японскую модель GPT-NeoX, содержащую 3,6 миллиарда параметров. Модель основана на rinna/japanese-gpt-neox-3.6b и настроена для использования в качестве диалогового агента, следующего за инструкциями. Эта модель немного отличается от предыдущей модели SFT rinna/japanese-gpt-neox-3.6b-instruction-sft, где для обучения используется другое разделение данных. 36-слойная языковая модель на основе преобразователя с 2816 скрытыми размерами. Мы провели автоматическую оценку на основе ChatGPT по 100 запросам, чтобы оценить разницу в производительности между этой моделью SFT и предыдущей моделью SFT. Данные точной настройки являются частью следующих наборов данных и переведены на японский язык. Антропные данные HH RLHF. Инструкция FLAN. Данные настройки * Стэнфордский набор данных о человеческих предпочтениях. Для построения входных данных был принят специальный формат. Подсказка для ввода форматируется как диалог между ユーザー и システム. Каждое входное высказывание состоит из (1) говорящего («ユーザー» или «システム»), (2) двоеточия («:»), (3) пробела («») и (4) текста высказывания (например, «世界で一番高い山は？»). Приглашение к вводу должно заканчиваться словами «システム:», чтобы подтвердить, что модель сгенерировала ответ. Поскольку токенизатор модели не распознает…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: rinna
Теги: gpt_neox, lm, nlp, ja, text-generation-inference
Лайков: 26 | Загрузок: 2,306
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
