Linkbricks-Horizon-AI-Japanese-Pro-V8-70B
AIとビッグデータ分析の専門企業であるLinkbricksのデータサイエンティストであるジ・ユンソン(Saxo)ディレクターが Saxo/Linkbricks-Horizon-AI-Japanese-Pro-V7-70Bベースモデルを使用し、H100-80G 8個を通じて約 日本語 SFT->DPO->MERGE した日本語強化言語モデル。 4千万件の日本ニュース及びウィキコーパスを基準に、様々なタスク別の日本語・韓国語・中国語・英語クロス学習データと数学及び論理判断データを通じて、日中韓英言語クロス補強処理と複雑な論理問題にも対応できるように訓練したモデルです。 -トークナイザーは、単語拡張なしでベースモデルのまま使用します。 -カスタマーレビューやソーシャル投稿の高次元分析及びコーディングとライティング、数学、論理判断などが強化されたモデル。 -128k-Context Window -Function Call -128k-Context Window -Deepspeed Stage=3、rslora及びBAdam Layer...