Эта предварительно обученная модель находится в стадии разработки! Загрузка веса модели будет доступна в будущем. Предварительно обученная модель для японского языка с 6,8 миллиардами параметров, основанная на Mesh Transformer JAX от EleutherAI, которая имеет структуру модели, аналогичную предварительно обученной модели GPT-J-6B. EleutherAIによるСетчатый трансформатор JAXをコードベースとした、GPT-J-6Bに似たストラクチャと約68,7 億パラメータを持つ日本語предварительно обученныйモデルです。 — Мы использовали T5Tokenizer и SentencePiece вместо токенизатора GPT-2/3. Нормализация, выполняемая с помощью SentencePiece, необходима для токенизации японского языка, поскольку существует гораздо больше вариаций общих символов, чем в западных языках. — Tokenizer имеет словарь из 52 500 токенов и обучен на дампе японской Википедии по состоянию на 1 августа 2021 года. — Модель подходит для графических процессоров VRAM с объемом памяти 16 ГБ, таких как P100, для вывода с длиной контекста до 1688. Для вывода полной длины контекста 2048 требуется 20 ГБ видеопамяти или более (например, GTX3090/A5000). — Модель обучалась с помощью TPUv3-128, щедро предоставленного Google TRC, в течение примерно 4 недель. В настоящее время мы форматируем дополнительные наборы данных и готовимся к большему времени обучения. Мы рекомендуем использовать для вывода кодовую базу разветвленного преобразователя Finetuneonon, поскольку разделенная контрольная точка загружается намного быстрее, чем монолитная…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: naclbit
Теги: gptj, japanese, t5tokenizer, sentencepiece, ja, endpoints_compatible
Лайков: 28 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
