AWSのtrn1インスタンスを用いて開発した大喜利言語モデルです。事前学習後に大喜利データでТочная настройкаしています。 Архитектура: GPT2 Размер словаря: 44880 Размер модели: 6B параметров Лицензия: Apache License 2.0 * Библиотека: aws-neuron-reference-for-megatron-lm以下のコーパスを使用して、事前学習を行いました。その際のトークン数は477億トークンでした。 C4の日本語データ CC-100の日本語データ OSCARの日本語データ Wikipediaの日本語ダンプデータ *自社データ以下は各モデルを同様の条件でТонкая настройкаし、出力させたボケをケータイ大喜利レジェンドに4段階で評価してもらった結果です。圏外:お題を日本語として理解できていない1 часть:お題を理解はできているがボケとして成立していない（面白みがない） 2: ボケとして成立している（面白みがある) 3:面白い(一定以上の面白さがある) -内田 達弥 (УЧИДА, Тацуя) — 小橋 洋平 (КОБАСИ, Ёхей) — 黒木 修弥 (КУРОКИ, Сюя) — 久保田 光 (КУБОТА, Хикару) — 竹之内 大輔(ТАКЕНУТИ, Дайсуке)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: watashiha
Теги: gpt2, ja, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 31
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
