Модели серии Yi-Ko представляют собой расширенные версии моделей 01-ai/Yi, в которых используется расширенный словарный запас и включение корейского/английского корпуса в его дальнейшее предварительное обучение. Как и его предшественник, модели серии Yi-Ko работают в широком диапазоне генеративных текстовых моделей, охватывающих от 6 до 34 миллиардов параметров. В этом репозитории основное внимание уделяется предварительно обученной версии 34B, которая адаптирована для формата Hugging Face Transformers. Чтобы получить доступ к другим моделям, обратитесь к указателю, приведенному ниже. Вариации Yi-Ko-34B будут иметь различные размеры параметров — 6B и 34B — с Ko (корейский+английский). Модели серии Yi-Ko представляют собой авторегрессионную языковую модель, в которой используется оптимизированная архитектура преобразователя на основе Llama-2*. Архитектура модели Yi основана на Llama2, поэтому ее можно загрузить через класс LlamaForCausalLM` на HF. Токенизация «Llama 2: Open Foundation и точно настроенные модели чата» > Для коммерческих целей > отправьте письмо по адресу: jun@beomi.net для приобретения коммерческой лицензии Yi-Ko sereis.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, Yi-Ko, 01-ai, Yi, en, ko, text-generation-inference
Лайков: 7 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
