В этом репозитории представлено квантованная модель японского языка с 3,6 млрд параметров, доработанная и обученная компанией LINE Corporation. Мы используем токенизатор SentencePiece с униграммной языковой моделью и байтовым резервированием. Мы не применяем предварительную токенизацию с помощью токенизатора японского языка. Таким образом, пользователь может напрямую подавать исходные предложения в токенайзер.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: line-corporation
Теги: gpt_neox, ja, text-generation-inference
Лайков: 2 | Загрузок: 177
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.