Llama-2-KoEn представляет собой усовершенствованную версию Llama 2, обладающую расширенным словарным запасом и включением корпуса корейского и английского языков в его дальнейшее предварительное обучение. Как и его предшественник, Llama-2-KoEn работает в широком диапазоне генеративных текстовых моделей, охватывающих от 7 до 70 миллиардов параметров. В этом репозитории основное внимание уделяется предварительно обученной версии 13B, которая адаптирована для формата Hugging Face Transformers. Чтобы получить доступ к другим моделям, обратитесь к указателю, приведенному ниже. Разработчики моделей Джунбум Ли (Беоми), Тэкюн Чой (Тэкюн). Вариации Llama-2-KoEn будут иметь различные размеры параметров — 7B, 13B и 70B, а также предварительно обученные и точно настроенные варианты. Llama-2-KoEn — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя на основе Llama-2. Токенизация «Llama 2: Open Foundation и точно настроенные модели чата» — используется lm-evaluation-harness от EleutherAI https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot — Модель Llama-2-KoEn-13B (это репозиторий!) заняла первое место по предварительно обученной модели корейского языка в таблице лидеров Open Ko LLM. Удалить ValueError в функции loadtokenizer (строка). 109 или около того), в модулях/models.py`.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, facebook, meta, llama-2, kollama, llama-2-ko, en, ko
Лайков: 36 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
