Polyglot-Ko — это серия крупномасштабных корейских авторегрессионных языковых моделей, созданных командой полиглотов EleutherAI. Модель состоит из 28 слоев преобразователя с размером модели 4096 и размером прямой связи 16384. Размерность модели разделена на 16 головок, каждая из которых имеет размерность 256. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучена с использованием словаря токенизации 30003. Polyglot-Ko-5.8B был обучен на 863 ГБ данных на корейском языке (1,2 ТБ до обработки), крупномасштабном наборе данных, курируемом TUNiB. Процесс сбора данных соответствует законам Южной Кореи. Этот набор данных собран с целью обучения моделей Полиглот-Ко, поэтому он не будет опубликован для публичного использования. Кроме того, чтобы модель не запоминала и не генерировала личную информацию (PII) в обучающих данных, мы замаскировали следующую конфиденциальную информацию на этапе предварительной обработки: : номер банковского счета : регистрационный номер резидента ` : номер телефона Полиглот-Ко-5.8B был обучен для 172 миллиардов токенов за 320 000 шагов на 256 графических процессорах A100 с инфраструктурой GPT-NeoX. Он был обучен как авторегрессионный язык…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: gpt_neox, causal-lm, ko, text-generation-inference, endpoints_compatible
Лайков: 67 | Загрузок: 1,826
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
