Polyglot-Ko — это серия крупномасштабных корейских авторегрессионных языковых моделей, созданных командой полиглотов EleutherAI. Модель состоит из 40 слоев трансформаторов с размером модели 5120 и размером прямой связи 20480. Размерность модели разделена на 40 головок, каждая размером 128. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучена с использованием словаря токенизации 30003. Polyglot-Ko-12.8B был обучен на 863 ГБ данных на корейском языке (1,2 ТБ до обработки), крупномасштабном наборе данных, курируемом TUNiB. Процесс сбора данных соответствует законам Южной Кореи. Этот набор данных собран с целью обучения моделей Полиглот-Ко, поэтому он не будет опубликован для публичного использования. Кроме того, чтобы модель не запоминала и не генерировала личную информацию (PII) в обучающих данных, мы замаскировали следующую конфиденциальную информацию на этапе предварительной обработки: : номер банковского счета : регистрационный номер резидента ` : номер телефона Полиглот-Ко-12.8B был обучен для 167 миллиардов токенов за 301 000 шагов на 256 графических процессорах A100 с инфраструктурой GPT-NeoX. Он был обучен как авторегрессионный язык…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, ko, text-generation-inference, endpoints_compatible
Лайков: 85 | Загрузок: 1,747
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
