Open-Llama-2-Ko представляет собой усовершенствованную версию модели Llama 2, отличающуюся расширенным словарным запасом и включением корейского корпуса для расширенной предварительной подготовки. Подобно своей предшественнице, Ламе-2-Ко, эта модель работает в диапазоне генеративных текстовых моделей с числом параметров от 7 до 70 миллиардов. В центре внимания этого репозитория находится предварительно обученная версия 7B, предназначенная для полной интеграции с форматом Hugging Face Transformers. Основное различие между сериями Llama-2-Ko и Open-Llama-2-Ko заключается в наборе данных. Open-Llama-2-Ko использует исключительно общедоступные корейские базы данных, включая такие источники, как AI Hub, Modu Corpus, 모두의 말뭉치 и корейскую Википедию. Поскольку обучение проводилось исключительно на общедоступных корпусах, эта модель открыта для неограниченного использования всеми при соблюдении лицензии MIT*. Вариации: Open-Llama-2-Ko будет доступен с разными размерами параметров — 7B и 13B — а также с различными предварительно обученными опциями. Open-Llama-2-Ko — это авторегрессионная языковая модель, в которой используется оптимизированная архитектура преобразователя, полученная из Llama-2. Модель была обучена с использованием выбранных наборов данных из AIHub и Modu Corpus.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, facebook, meta, llama-2, kollama, llama-2-ko, ko, en
Лайков: 39 | Загрузок: 29
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
