日本語特化の小型言語モデル（Малоязычная модель）です。スクラッチから学習しました。小さいし、初めてモデルなのでかなり精度は悪いです。というかいろいろな制約によりпоезд/потеря 3.05くらいで止めてるので。大規模な進展があれば次のver出すかもね。 Версия vLLMにてRTX 4070 SUPER 12 ГБでしました。 — Поддержка: PyTorch + bitsandbytes 8-битный AdamW — Смешанная точность: fp16 — Контрольная точка градиента: Скорость — Размер пакета: 4 × накопление градиента 16 = эффективно 64 — Скорость обучения: 3e-4 (косинусный распад + прогрев 2000 шагов) — Скорость обучения: 25 000 шагов（学習途中)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: soichi1208
Теги: llama, japanese, causal-lm, pretrained, ja
Лайков: 6 | Загрузок: 53
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
