— GPT2 (Flax, Pytorch) — 12 слоев, 768 скрытых тусклых, 3072 промежуточных, 12 глав, размер словаря 51200 — 1024 maxseqlen — Время обработки: 125M — TPU V2-8 — Скорость обучения: 6e-4, размер пакета: 512 (= 64 накопления x) 8 устройств), Планировщик: Линейный, Разминка: 1000 шагов — Оптимизатор: AdamW(adambeta1=0,9 adambeta2=0,98, Weightdecay=0,01) — Шаги обучения: 43247 (3 эпохи) — Время выполнения: 21.11B (43247 512 * 1024seq) / 1024^3) — Дата выпуска: 17.01.2023 ~ 17.01.2023 ~ 19.01.2023 (2 — 6 месяцев) — Доступно: https://github.com/HeegyuKim/language-model — AIHub SNS 대화(730MB) — AIHub 구어체(422MB) — AIHub 도서(1,6MB) — AIHub 대규모 웹데이터 기반 한국어 말뭉치(12GB) — 한국어 위키(867MB) — 나무위키(6,4 ГБ) — 국립국어원 메신저 대화(21MB) — 국립국어원 일상대화 말뭉치(23MB) — 국립국어원 문어 말뭉치(3,2 ГБ) — 국립국어원 구어 말뭉치 (1,1 ГБ) — 국립국어원 신문 말뭉치(~2022, 17GB) — 청와대 국민청원(525MB) 이 모델의 학습 데이터는 각종 차별/혐오 Если вы хотите, чтобы это произошло, вы можете сделать это в нужном месте. 따라서 모델이 생성하는 문장에 특정 인물이나 인종, 성별, 장애에 따른 차별/혐오발언을 생성할 수 있습니다.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: heegyu
Теги: jax, gpt2, ko, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
