Polyglot-Ko — это серия крупномасштабных корейских авторегрессионных языковых моделей, созданных командой полиглотов EleutherAI. Модель состоит из 32 слоев трансформаторов с размерностью модели 3072 и размером прямой связи 12288. Размерность модели разделена на 24 головки, каждая из которых имеет размерность 128. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучена с использованием словаря токенизации 30003. Polyglot-Ko-3.8B был обучен на 863 ГБ данных на корейском языке (1,2 ТБ до обработки), крупномасштабном наборе данных, курируемом TUNiB. Процесс сбора данных соответствует законам Южной Кореи. Этот набор данных собран с целью обучения моделей Полиглот-Ко, поэтому он не будет опубликован для публичного использования. Кроме того, чтобы модель не запоминала и не генерировала личную информацию (PII) в обучающих данных, мы замаскировали следующую конфиденциальную информацию на этапе предварительной обработки: : номер банковского счета : регистрационный номер резидента ` : номер телефона Полиглот-Ко-3.8B был обучен для 219 миллиардов токенов за 105 000 шагов на 256 графических процессорах A100 с платформой GPT-NeoX. Он был обучен как авторегрессионный язык…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, ko, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 2,336
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
