Llama-2-Ko представляет собой усовершенствованную версию Llama 2, имеющую расширенный словарный запас и включение корейского корпуса в его дальнейшее предварительное обучение. Как и его предшественник, Llama-2-Ko работает в широком диапазоне генеративных текстовых моделей, охватывающих от 7 до 70 миллиардов параметров. В этом репозитории основное внимание уделяется предварительно обученной версии 70B, которая адаптирована для формата Hugging Face Transformers. Чтобы получить доступ к другим моделям, обратитесь к указателю, приведенному ниже. Вариации Llama-2-Ko будут иметь различные размеры параметров — 7B, 13B и 70B, а также предварительно обученные и точно настроенные варианты. — Требуется > 74 ГБ видеопамяти (совместимо с 4x RTX 3090/4090 или 1x A100/H100 80G или 2x RTX 6000 ada/A6000 48G) — Требуется > 150 ГБ видеопамяти (совместимо с 8x RTX 3090/4090 или 2x A100/H100 80G) или 4x RTX 6000 ada/A6000 48G) Llama-2-Ko — это авторегрессивная языковая модель, в которой используется оптимизированная архитектура преобразователя на основе Llama-2. Токенизация «Llama 2: Open Foundation и точно настроенные модели чата» — используется lm-evaluation-harness EleutherAI https://github.com/EleutherAI/lm-evaluation-harness/tree/polyglot Удалить ValueError в функции loadtokenizer (строка 109 или…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: beomi
Теги: llama, facebook, meta, llama-2, kollama, llama-2-ko, en, ko
Лайков: 38 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
