Этот репозиторий предоставляет модель на основе GPT-NeoX с 1,4 млрд параметров, предварительно обученную на японском корпусе, состоящем примерно из 20 млрд токенов. Эта модель разработана Stockmark Inc. — Настройка LoRA: https://huggingface.co/stockmark/gpt-neox-japanese-1.4b/blob/main/notebooks/LoRA.ipynb — Японский веб-корпус (ja): 8,6 млрд токенов (этот набор данных не будет выпущен.) — Википедия (ja): 0,88 млрд токенов — CC100 (ja): 10,5 млрд токенов — Обучение с использованием HuggingFace Trainer и DeepSpeed (ZeRO-2) — 8 графических процессоров A100 (40 ГБ) в ABCI — смешанная точность (BF16)
Модальности:
Генерация текста
Задача: Генерация текста
Автор: stockmark
Теги: gpt_neox, gpt-neox, japanese, ja, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
