Solar-Ko представляет собой усовершенствованную версию модели upstage/SOLAR-10.7B-v1.0, отличающуюся расширенным словарным запасом и включением корейского корпуса для расширенной предварительной подготовки. Open-Solar-Ko использует исключительно общедоступные корейские базы данных, включая такие источники, как AI Hub, Modu Corpus, 모두의 말뭉치 и корейскую Википедию. Поскольку обучение проводилось исключительно с использованием общедоступных корпусов, эта модель открыта для неограниченного использования всеми при соблюдении лицензии Apache2.0 с открытым исходным кодом. Варианты: Solar-Ko доступен с одним размером параметра — 10B с версией Continual Pretrained. SOLAR-KO-10.7B — это авторегрессионная языковая модель, в которой используется оптимизированная архитектура преобразователя, заимствованная из Llama-2. Модель была обучена с использованием выбранных наборов данных из AIHub и Modu Corpus. Подробная информация о наборах обучающих данных доступна ниже: — AI Hub: corpus/AIHUB — использовался только обучающий сегмент данных. — Сегменты «Валидация» и «Тест» были намеренно исключены. — Modu Corpus: corpus/MODUCORPUS Окончательный набор данных JSONL, используемый для обучения этой модели, имеет размер примерно 61 ГБ. Общее количество токенов: около 15 миллиардов токенов (*с использованием расширенного токенизатора. С…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, solar, mistral, solar-ko, ko, en, text-generation-inference
Лайков: 66 | Загрузок: 903
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
