ArrowCanaria-Llama-8B-RL-v0.1 は、ArrowCanaria-Llama-8B-SFT-v0.1 に対して RLHF（Обучение с подкреплением у человека Обратная связь) SFTモデルは高品質なデータで学習されていますが、モデルの応答が「データに含まれる平Награда Модель)品質や知識応答の正確性・分かりやすさを、SFTの水準からさらに引き上げています。強化学習アルゴリズムには GRPO (Оптимизация относительной политики группы)を採用し、DAPO損失関数による安定した最適化を実現しています。相談応答と知識応答の2フェーズで段階的にRLHFを行うことで、SFTで獲得した雑談・RP・キャラクター対話能力を保持しつつ、応答の質を選択的に向上させています。 —...
ArrowCanaria-Llama-8B-SFT-v0.1 は、AItuber（AI VTuber）向けに雑談性能を重視して設計された日本語特化の8Bパラメータ言語モデルです。多くの日本語LLMは翻訳調の硬い文体や、定型的なテンプレート応答に陥りがちです。本モデルは「AItuberとして視聴者と自然に雑談できるモデル」を目指し、雑談・ロールプレイ（RP）・推論・日本語の自然さを高い水準で獲得することを目標に開発されました。テンプレート的・機械的な応答ではなく、自然な日本語で人間らしく回答できることが最大の特徴です。本モデルは tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5をベースに、高品質な日本語合成小説データセットによる継続事前学習(CPT)でドメイン知識を拡張した後、Чат Vectorマージで対話能力を復元し、さらに17.5万件超の合成データセットによる3フェーズのカリキュラムSFTを実施して構築されています。独自のデータ生成フレームワークСДГЛУМ**によって作成された高品質なデータと、EQ（感情知性）を優先する段階的な学習率設計により、従来のモデルよりも効率的かつ効果的なトレーニングを実現しています。 — AItuber / AI VTuber: 配信中のリスナーとの雑談・コメント対応 — チャットボット:自然な日本語での日常会話・悩み相談 — ロールプレイ:キャラクターを演じた対話・創作支援 — 汎用アシスタント:知識応答・推論・ツール呼び出しを含む幅広いタスク —...
