— GPT-J (Flax, Pytorch) — 12 слоев, 768 скрытых тусклых, 3072 промежуточных, 12 глав, размер словаря 51200 — 1024 maxseqlen — Количество файлов: 163M — TPU V2-8 — Скорость обучения: 6e-4, Размер пакета: 512 (= 64 накопления) x 8 устройств), Планировщик: Линейный, Разминка: 1000 шагов — Оптимизатор: AdamW(adambeta1=0,9 adambeta2=0,98, Weightdecay=0,01) — Шаги обучения: 43247 (3 эпохи) — 학습 토큰 수: 21.11B (43247 512 *) 1024seq / 1024^3) — Время: 2023/2/16 ~ 2023/2/18(2 일 22 소요) — 학습 코드: https://github.com/HeegyuKim/language-model — AIHub SNS 대화(730MB) — AIHub 구어체(422MB) — AIHub 도서(1,6MB) — AIHub 대규모 웹데이터 기반 한국어 말뭉치(12GB) — 한국어 위키(867MB) — 나무위키(6.4GB) — 국립국어원 메신저 대화(21MB) — 국립국어원 일상대화 말뭉치(23MB) — 국립국어원 문어 말뭉치(3,2GB) — 국립국어원 구어 말뭉치(1,1GB) — 국립국어원 신문 말뭉치(~2022, 17GB) — 청와대 국민청원(525MB) 이 모델의 학습 데이터는 각종 차별/혐오 Если вы хотите, чтобы это произошло, вы можете сделать это в нужном месте. 따라서 모델이 생성하는 문장에 특정 인물이나 인종, 성별, 장애에 따른 차별/혐오발언을 생성할 수 있습니다.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: heegyu
Теги: jax, gptj, ko, endpoints_compatible
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
