— 2024.02.19: Начальная тестовая версия Выпуск SOLAR-KOEN-10.8B Solar-KoEn представляет собой усовершенствованную версию модели upstage/SOLAR-10.7B-v1.0, отличающуюся расширенным словарным запасом и включением корейско-английского корпуса для расширенной предварительной подготовки. Разработчики модели: Джунбум Ли (Беоми) и Тэкюн Чой (Тэкюн). Варианты: Solar-KoEn доступен с одним размером параметра — 10,8B с версией Continual Pretrained. SOLAR-KOEN-10.8B — это авторегрессионная языковая модель, в которой используется оптимизированная архитектура преобразователя, полученная из Llama-2. Токенизация «Встречайте 10.7B Solar: повышение производительности за счет увеличения глубины Upstage!» — Использовалась lm-evaluation-harness от EleutherAI https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot. — Оценка по 5 снимкам. — Поддержка в обучении была предоставлена программой TPU Research Cloud.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, solar, mistral, solar-ko, ko, en, text-generation-inference
Лайков: 12 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
