Модель Yi-Ko-DUS представляет собой расширенную итерацию модели beomi/Yi-Ko-6B, применяемую в DUS, с расширенным словарным запасом и включением корейского/английского корпуса в ее дальнейшее предварительное обучение. В этом репозитории основное внимание уделяется предварительно обученной версии 9B, которая адаптирована к формату Hugging Face Transformers и обучена после применения метода DUS. Разработчики моделей Джунбум Ли (Беоми), Тэкюн Чой (Тэкюн) Модели серии Yi-Ko-DUS представляют собой авторегрессионную языковую модель, в которой используется оптимизированная архитектура преобразователя на основе Llama-2*. Архитектура модели Yi основана на Llama2, поэтому ее можно загрузить через класс LlamaForCausalLM` на HF. Токенизация «Llama 2: Open Foundation и точно настроенные модели чата» > Для коммерческих целей > отправьте письмо по адресу: jun@beomi.net для приобретения коммерческой лицензии Yi-Ko sereis.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, Yi-Ko, 01-ai, Yi, en, ko, text-generation-inference
Лайков: 8 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
