CohereForAI/c4ai-command-r-v01を、ichikara-in строительствоを使って追加で日本語インストラクションチューニングを施したモデルです。 Runpod, графический процессор, A6000x4,習を行いました。主な学習パラメータは以下の通りです。 — lorar: 64 — lisaalpha: 128 — loradropout: 0,05 — loratargetmodules: [«qproj», «kproj», «vproj», «oproj», «gateproj», «upproj», «downproj»] — скорость обучения: 2e-5 — numtrainepochs: 10epochs — размер пакета: 50 — maxseqlength: 2048 jsquad(jsquad-1.1-0.3, 2 кадра)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3 кадра)、jnli(jnli-1.3-0.3, 3 кадра)、marcja(marcja-1.1-0.3, 3 выстрела)結果は以下の通りです。 （8ビット量子化/jsquadは100で割り、それぞれ小数点以下第4位を四捨五入）スコア的にはあまり変わりませんでした。ただし、元モデルの出力の中には時々英語が混ざっていましたが、目視で確認した範囲だと混ざらなくなっていたので学習の効果は多少はありそうです。余談ですが、英語ベンチマークであるOpen LLM Таблица лидеров)のスコアもなぜかわずかに向上していました。 詳細元モデルであるCohereForAI/c4ai-command-r-v01はCC-BY-NC 4.0とПолитика допустимого использования C4AIのもとに配布されています。また、ファインチューニングに利用したデータセットであるichikara-instructionはCC-BY-NC-SA 4.0の元配布されています。 そのため、このモデルのライセンスはCC-BY-NC-SA 4.0及びC4AI’s Допустимое использование Политикаとなります。(理解間違っていればご指摘ください)
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: Aratako
Теги: cohere, ja, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 58
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
