1. Дальнейшее обучение с корейским корпусом. 2. SFT 3. Модели серии DPO (Dataset URL) Yi-Ko служат продвинутыми итерациями моделей 01-ai/Yi, используя расширенный словарный запас и включение корейского/английского корпуса в его дальнейшее предварительное обучение. Как и его предшественник, модели серии Yi-Ko работают в широком диапазоне генеративных текстовых моделей, которые простираются от 6 до 34 миллиардов параметров. Этот репозиторий ориентирован на предварительно подготовленную версию 34B, которая адаптирована к формату Hugging Face Transformers. Чтобы получить доступ к другим моделям, ознакомьтесь с приведенным ниже индексом. Варианты Yi-Ko-34B будут поставляться в диапазоне размеров параметров — 6B и 34B — с Ko(корейский английский). Модели серии Yi-Ko представляют собой авторегрессионную языковую модель, которая использует оптимизированную архитектуру трансформатора на основе Llama-2*. Архитектура модели Yi основана на Llama2, поэтому ее можно загрузить через классLlamaForCausalLM `на ВЧ. Токенизация «Llama 2: Open Foundation and Fine-Tuned Chat Models»
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: maywell
Теги: llama, Yi-Ko, 01-ai, Yi, en, ko, text-generation-inference
Лайков: 3 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
