— 2024.07.01: выпущен Solar-Ko-Recovery и загружены результаты тестов — 2024.05.16: выпущен предварительный просмотр Solar-Ko-Recovery Solar-Ko-Recovery-11B нацелен на восстановление возможностей Solar на корейском языке с перестановкой вложений и заголовка LM, с расширенным словарным запасом и включением корейско-английского корпуса для улучшенного представления. Вариации: Solar-Ko-Recovery доступен с одним размером параметра — 11B(10,99B🤣). Solar-Ko-Recovery — это авторегрессионная языковая модель, в которой используется оптимизированная архитектура преобразователя, заимствованная из Llama-2. > ПРИМЕЧАНИЕ. Обработано двухэтапное обучение > > 1) Обучаются только слой внедрения и слой LM Head > 2) Расширение словаря с полными параметрами выполняется на отредактированном upstage/solar-1-mini-tokenizer, который является расширенным набором токенизатора Solar. Токенизация «Встречайте 10.7B Solar: повышение производительности за счет увеличения глубины Upstage!» — Поддержку обучения оказала программа ТПУ Research Cloud.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, solar, mistral, solar-ko, ko, en, text-generation-inference
Лайков: 24 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
