Polyglot-Ko — это серия крупномасштабных корейских авторегрессионных языковых моделей, созданных командой полиглотов EleutherAI. Модель состоит из 24 слоев преобразователя с размерностью модели 2048 и размером прямой связи 8192. Размерность модели разделена на 16 головок, каждая из которых имеет размерность 128. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучена с использованием словаря токенизации 30003. Polyglot-Ko-1.3B был обучен на 863 ГБ данных на корейском языке (1,2 ТБ до обработки), крупномасштабном наборе данных, курируемом TUNiB. Процесс сбора данных соответствует законам Южной Кореи. Этот набор данных собран с целью обучения моделей Полиглот-Ко, поэтому он не будет опубликован для публичного использования. Кроме того, чтобы модель не запоминала и не генерировала личную информацию (PII) в обучающих данных, мы замаскировали следующую конфиденциальную информацию на этапе предварительной обработки: : номер банковского счета : регистрационный номер резидента ` : номер телефона Полиглот-Ко-1.3B был обучен на 213 миллиардах токенов за 102 000 шагов на 256 графических процессорах A100 с использованием инфраструктуры GPT-NeoX. Он был обучен как модель авторегрессионного языка,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, ko, text-generation-inference, endpoints_compatible
Лайков: 92 | Загрузок: 3,823
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
