このモデルはrinna/japanese-gpt2-meduimを教師として蒸留したものです。 蒸留には、HuggigFace Transformersのコードをベースとし、りんなの訓練コードと組み合わせてデータ扱うよう改造したものを使っています。 学習に当たり、Google Startup Programにて提供されたクレジットを用いました。 a2-highgpu-4インスタンス(A100 x 4)を使って4か月程度、何度かのresumeを挟んで訓練させました。 Wikipediaをコーパスとし、perplexity 40 程度となります。 rinna/japanese-gpt2-meduim を直接使った場合、27 程度なので、そこまで及びません。 何度か複数のパラメータで訓練の再開を試みたものの、かえって損失が上昇してしまう状態となってしまったので、現状のものを公開しています。 This model...
This model is Japanese GPT-2 pretrained on Japanese Wikipedia. You can use the raw model for text generation...
This is a merge of pre-trained language models created using mergekit. The following models were included in the...
PLaMo 3 NICT 2604 31B Base is a 31B model distilled from a 120B model, developed by Preferred...
Wanabi-Gemma4-31B は、Google Gemma 4 31B-IT をベースに、専用デスクトップアプリ Project Wannabe の執筆ワークフローに最適化したファインチューニングモデルです。 本モデルの主な目的は、Project Wannabe が生成する専用のプロンプトフォーマットにモデルを適応させる ことです。Project Wannabe は、小説本文の生成（GEN）、続き生成（CONT）、アイデア生成（IDEA）といったタスクごとに、タイトル・あらすじ・プロット・本文・レーティングなどの情報を独自の構造化フォーマットで組み立てて送信します。本モデルは、この入力形式を正しく理解し、各タスクの意図に沿った応答を返せるよう学習しています。 加えて、日本語の思考過程（CoT）データを学習に組み込むことで、創作タスクにおける語彙選択や文体の自然さなど、日本語の創作表現の向上も目指しています。 従来の wanabi...
DiaFill is a Japanese dialogue script generation model designed to produce natural, spoken-style dialogue scripts rich in fillers...
This model mlx-community/NVIDIA-Nemotron-3-Nano-30B-A3B-4bit was converted to MLX format from nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 using mlx-lm version 0.29.0. Модальности:Генерация текста Области применения:Диалог...
> [!NOTE] > Includes Unsloth chat template fixes! For llama.cpp, use —jinja > Unsloth Dynamic 2.0 achieves superior...
LiquidAI/LFM2-1.2B-Extract finetuned on Japanese content to output JSON with PII. The model should output only single json with...
Это слияние предварительно обученных языковых моделей, созданных с помощью mergekit. Следующие модели были включены в слияние: unsloth/Mistral-Nemo-Base-2407 Elizezen/Himeyuri-v0.1-12B...
