モデル概要Llama-3-8b-Cosmopedia-japaneseモデルは、優れた性能を認められているLlama-3-8bモデルの日本語ドメインへの適応を目的として設計しました。 Лама-3-8bはその高い能力にも関わらず、英語と日本語の推論結果には顕著な差があります。日本語での問いかけに対しても英語で返答するバイアスが強く、日本語でのパフォーマンスが劣っていました。外部翻訳システムを利用したトレーニングと開発適応戦略として、高性能でライセンスがApache2.0のMixtra lを利用したcosmopediaという合成データセットを利用しました。 космопедияには、高品質なMixtral8x7Bのアウトプットのみで構成されており、推論能力の中核を凝縮した余計なノイズを含まないことが特徴です。しかしcosmopediaは英語で構成されており、Mixtral自身も日本語表現を苦手とすることから、まず外部の翻訳システムを通じて日本語に翻訳しています。 aixsatoshi/cosmopedia-japanese-100k aixsatoshi/cosmopedia-japanese-20kこの日本語化cosmopediaデータを使用してLlama-3-8bモデルの追加トレーニングを行うことで日本語ドメインへの適応を図りました。 Llama-3-8bの論理的推論能力を日本語のコンテキストに円滑に移行させ、アウトプット言語のバイアスを日本語方向に移動させることを目標としています。
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: aixsatoshi
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
