Этот репозиторий предоставляет японскую модель GPT-NeoX, содержащую 3,6 миллиарда параметров. Модель основана на rinna/japanese-gpt-neox-3.6b-instruction-sft-v2 и настроена для использования в качестве диалогового агента, следующего за инструкциями. 36-слойная языковая модель на основе преобразователя с 2816 скрытыми размерами. В соответствии с документом OpenAI InstructGPT для согласования поведения модели с входными инструкциями было применено обучение с подкреплением на основе обратной связи с человеком (RLHF). В частности, модель обучалась в два этапа: контролируемая точная настройка (SFT) и обучение с подкреплением на основе PPO (RL). На первом этапе SFT создается rinna/japanese-gpt-neox-3.6b-instruction-sft-v2. На втором этапе RL создается эта модель. Мы провели человеческую оценку и автоматическую оценку на основе ChatGPT по 100 запросам, чтобы оценить прирост производительности от обучения с подкреплением. Мы использовали CarperAI/trlx и его реализацию алгоритма PPO для этапа RL. Данные RL являются подмножеством следующего набора данных и переведены на японский язык. * Антропные данные HH RLHF. Мы обнаружили, что эта версия модели PPO имеет тенденцию генерировать повторяющийся текст чаще, чем ее аналог SFT, и поэтому мы установили повторение пенальти = 1,1 для…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: rinna
Теги: gpt_neox, lm, nlp, ja, text-generation-inference
Лайков: 74 | Загрузок: 756
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
