Tanuki-8x8B-dpo-v1.0
Тануки-8x8Bは、フルスクラッチで約1.7Tトークン事前学習を行った8x8Bパラメータ（総パラメータ約47B、アクティブパラメータ約13B）の大規模言語モデルです。 Tanuki-8x8B-dpo-v1.0は、SFTおよびDPOにより対話用に調整されています。より詳細な情報についてはブログ記事を参照してください。 GENIAC 松尾研LLM開発プロジェクトのもと、一般公募により集まった有志の参加者（企業所属、学生、研究者等）が開発を実施しました。 AWQ 4 бита, GPTQ 4 бита, GPTQ 8 битов, GGUF цвета GGUF版は性能低下が発生している可能性があり、非推奨こちらの記事にTanuki-8x8Bおよびその量子化モデルの各種推論方法についてまとめていますので、ご確認ください。以下に一部の推論方法を解説します。また、vLLMを使って推論をする場合は独自アーキテクチャへの対応が必要となります。こちらから改変済みvLLMを以下のようにビルドしてご利用ください。なお、本モデルはデフォルトのシステムプロンプトである「以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。」以外を学習していないため、このシステムプロンプトの使用を推奨します。タスクの詳細はユーザープロンプトに記述してください。人手評価 Чат-бот Аренаを模したシステムを作成し、人手によるブラインドテストを実施しました。...