「oasst1-89k-ja」データセットを追加して対話システムに対応しました。1024トークンまで会話履歴を保存できます。前回のモデルで行った質疑応答の正答率は今回のモデルで下がりました。「日本で一番広い湖は？」が91%から89%、「世界で一番高い山は？」が84%から73%に下がりました。（対話は分けた方が良かったのか、それともoasst1の質が良くないとか） 「japanese-gpt-1b」モデルを「databricks-dolly-15k-ja」データセットで~~RLHF (人間のフィードバックからの強化学習)~~Инструкция по настройкеしました。 1,3 ББ, GPT-2, видеопамять 7 ГБ, ОЗУ 7 ГБが必要で、問題なく動作すると思われます。 rinna社の「japanese-gpt-1b」を、日本語データセット「databricks-dolly-15k-ja」、 「oasst1-89k-ja」、 「OjousamaTalkScriptDataset」、 「train_data/zundamon.json」を使用して学習させました。このコードは、質問に答えるAIアシスタントを実装しています。質問リストに対して、役割指示に従った応答を生成し、会話を表示します。 1000 回の「入力」のような質問を行い、それらに対する「応答」に正解の文字列が含まれるかで評価しています。一番正答率が高い10エポック目のモデルを選択しました。（やり過ぎたかもしれないです。） Трансформерыのコードでtxtファイルを学習する場合、 1データ1行のようなので改行コードを一旦nに置き換えています。学習データはdolly-oasst1-ja.txtです。 1. makejsonfromoasst1ja.pyスクリプトでoasst1ja.jsonファイルを作成 2. oasst1ja.jsonファイル、databricks-dolly-15k-ja.jsonファイル、ojousamatalkscri pt200.jsonファイル、zundamon.jsonファイルからmergejson.pyスクリプトで一つのjsonファイルにマージ3. Загрузите マージしたjsonファイルからmaketraindatafrommergedjson.pyスクリプトでdolly-oasst1-ja.txtを作成※VRAMが足りない場合、optimをadafactorにするとVRAM使用量が減りました。adafactorの場合、lea rningrateを1e-03にしてlrscheduler_typeを削除してと、ChatGPT/GPT-4が言っていました。 — Трансформеры 4.28.1 — Пайторч…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inu-ai
Теги: gpt2, ja, japanese, gpt, lm, nlp, conversational, text-generation-inference
Лайков: 35 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
