Элизезен/Antler-7Bをベースに、ロールプレイ用のデータセットを用いてLoRAでファインチューニングしたモデルです。 Мистральのчат шаблонを利用してください。また、学習に利用したデータのフォーマットの関係上、以下のような形式が望ましいと思われます。また、マルチターンの会話の際にはассистентの各応答の終わりに都度eostoken（`）を入れるようにしてください。時折、何も出力せず出力を終了（EOSトークンを出力）します。原因は分かっていませんが、そのまま続きを書かせるか、リトライすれば問題なく動作します。 — гримулкан/LimaRP-дополненный — Аратако/Rosebleu-1on1-Dialogues-RP Runpod, графический процессор, A6000x8,習を行いました。主な学習パラメータは以下の通りです。 — lorar: 128 — lisaalpha: 256 — loradropout: 0,05 — loratargetmodules: [«qproj», «kproj», «vproj», «oproj», «gateproj», «upproj», «downproj», «lmhead»] — скорость обучения: 2e-5 — numtrainepochs: 10 эпох — размер пакета: 64 — maxseq_length: 8192ただし、元モデルであるElizezen/Antler-7Bのライセンスが不明であるため、作者様から何らかの連絡等を受けた場合変更の可能性があります。
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Aratako
Теги: mistral, not-for-all-audiences, nsfw, ja, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
