MPTK-1B는 한국어/영어코드 데이터셋에서 학습된 1.3B 파라미터의 decoder-only transformer 언어모델입니다. 이 모델은 구글의 TPU Research Cloud(TRC)를 통해 지원받은 Cloud TPU로 학습되었습니다. — ALiBi (Attention with Linear Biases)를 사용합니다 — bias를 사용하지 않습니다. OSCAR, mC4, wikipedia, namuwiki 등 한국어 데이터에 RefinedWeb, The Stack 에서 일부를 추가해 학습하였습니다.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: team-lucid
Теги: jax, mpt, ko, text-generation-inference, endpoints_compatible
Лайков: 2 | Загрузок: 306
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
