Linkbricks-Horizon-AI-Avengers-V5-32B
AIとビッグデータ分析の専門企業であるLinkbricksのデータサイエンティストであるジ・ユンソン(Saxo)ディレクターが Saxo/Linkbricks-Horizon-AI-Avengers-V4-32Bベースモデルを使用し、H100-80G 8個で約35%程度のパラメータをSFT->DPOした多言語強化言語モデル。 8千万件の様々な言語圏のニュースやウィキコーパスを基に、様々なタスク別の日本語・韓国語・中国語・英語クロス学習データと数学や論理判断データを通じて、日中韓英言語のクロスエンハンスメント処理と複雑な論理問題にも対応できるように訓練したモデルである。 -トークナイザーは、単語拡張なしでベースモデルのまま使用します。 -カスタマーレビューやソーシャル投稿の高次元分析及びコーディングとライティング、数学、論理判断などが強化されたモデル。 -Function Call -Deepspeed Stage=3、rslora及びBAdam Layer Modeを使用 -「transformers_version」: 「4.46.3」 A -토크나이저는 단어 확장...