1,3 ГБ, GPT, 7 ГБ видеопамяти, 7 ГБ оперативной памяти.が必要で、問題なく動作すると思われます。 rinna社の「japanese-gpt-1b」を、日本語データセット「alpaca_ja 」および「GuanacoDataset」から抽出された日本語データを使用して学習させました。このコードは、与えられた役割指示と会話履歴に基づいて、新しい質問に対して応答を生成する機能を持っています。以下に、コードの各部分を簡単に説明します。 1. подготовить ввод関数は、役割指示、会話履歴、および新しい会話（質問）を受け取り、入力テキストを準備します。 2. формат вывода関数は、生成された応答を整形して、不要な部分を削除し、適切な形式に変換します。 3. генерировать ответ関数は、指定された役割指示、会話履歴、および新しい会話を使用して、AIの応答を生成し、整形します。また、会話履歴を更新します。 4. Ролевая инструкция は、AIに適用する役割指示のリストです。 5. История разговораは、これまでの会話履歴を格納するリストです。 6. вопросы` は、AIに質問するリストです。最後に、questionsリスト内の各質問に対して、AIの応答を生成し、表示しています。このコードを実行すると、AIが指定された役割指示に従って、リスト内の質問に応答します。 100 回の「入力」のような質問を行い、それらに対する「応答」に正解の文字列が含まれるかで評価しています。一番正答率が高い4エポック目のモデルを選択しました。なお、サンプルコードのように「入力」が長くなると正答率が50%ぐらいに下がりました。 ~なぜか改行コードがスペースに置き換わってしまうため、実際の学習データは、改行コードを一旦nに置き換えています。~ Трансформерыのコードでtxtファイルを学習する場合、 1データ1行のようなので改行コードを一旦nに置き換えています。 Загрузите файл guanacoalpacaja.txt и сохраните его: ※VRAMが足りない場合、optimをadafactorにするとVRAM使用量が減りました。 — Transformers 4.28.0.dev0 — Pytorch 2.0.0+cu117 — Токенизаторы 0.13.3 — биты и байты 0.37.2 — japanese-gpt-1b — mit — alpaca_ja — CC BY NC 4.0 — GuanacoDataset — GPLv3
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inu-ai
Теги: gpt2, ja, japanese, gpt, lm, nlp, conversational, text-generation-inference
Лайков: 7 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
