— GPT-J (Flax, Pytorch) — 20 слоев, 1024 скрытых тусклых, 4096 промежуточных, 16 глав, размер словаря 51200 — 1024 maxseqlen — Размер пакета: 350M — TPU V2-8 — Скорость обучения: 3e-4, размер пакета: 512(=64) accum x 8 устройств), Планировщик: Линейный, Разминка: 1000 шагов — adambeta1=0,9 adambeta2=0,98, Weightdecay=0,01 — Шагов обучения: 43247 (3 эпохи) — 학습 토큰 수: 21.11B (43247 512 * 1024seq / 1024^3) — Дата выпуска: 25.01.2023 ~ 29.01.2023 — Версия AIHub SNS (730 МБ) — Версия AIHub (422 МБ) — Версия AIHub (1,6 МБ) — Версия AIHub 규모 Дополнительная информация (12 ГБ) — Бесплатная доставка (867 МБ) – Большая память (6,4 ГБ) — 국립국어원 메신저 대화(21MB) — 국립국어원 일상대화 말뭉치(23MB) — 국립국어원 문어 말뭉치(3.2GB) — 국립국어원 구어 말뭉치(1,1 ГБ) — 국립국어원 신문 말뭉치(~2022, 17 ГБ) — 청와대 국민청원(525MB) 이 모델의 학습 데이터는 각종 차별/혐오 데이터가 포함됐을 수 있으며, 별도의 제거작업을 진행하지 않았습니다. 따라서 모델이 생성하는 문장에 특정 인물이나 인종, 성별, 장애에 따른 차별/혐오발언을 생성할 수 있습니다.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: heegyu
Теги: jax, gptj, ko, endpoints_compatible
Лайков: 7 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
