— GPT2(лен, питорч) — 24 слоя, 1024 скрытых тусклых, 4096 промежуточных, 16 голов, 51200 размер вокаба — 1024 maxseqlen -파라미터 수: 355M — TPU V2-8 — Скорость обучения: 3e-4, Размер партии: 512(=64 накопления х 8 устройств), Планировщик: Линейный, WarmUp: 1000 шаг — Оптимизатор: AdamW (adambeta1 =0,9 adambeta2 =0,98, weightdecay =0,01) — bfloat16 — Шаги обучения: 43247 (3 эпоха) -학습 토큰 수: 21.11B (43247 512 * 1024seq/ 1024^3) -학습 기간: 2023/1/30 ~ 2023/2/5 (6일 11시간 소요) -학습 코드: https://github.com/HeegyuK 따라서 모델이 생성하는 문장에 특정 인물이나 인종,성별,장애에 따른 차별/혐오발언을 생성할 수 있습니다.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: heegyu
Теги: jax, gpt2, ko, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
