Семейство моделей Jais представляет собой комплексную серию двуязычных англо-арабских моделей большого языка (LLM). Эти модели оптимизированы для достижения успеха в арабском языке и при этом обладают хорошими знаниями английского языка. Мы выпускаем два варианта базовых моделей, которые включают в себя: — Модели, предварительно обученные с нуля (jais-family-). — Модели предварительно обучены адаптивно из Llama-2 (jais-adapted-). В этом выпуске мы представляем 20 моделей 8 размеров с параметрами от 590M до 70B, обученных на токенах арабского, английского и кодовых данных объемом до 1,6T. Все предварительно обученные модели в этой серии имеют точно настроенные инструкции (-чат) для диалога с использованием тщательно подобранной смеси данных инструкций на арабском и английском языках. Мы надеемся, что этот обширный выпуск ускорит исследования в области арабского НЛП и предоставит возможность использовать многочисленные последующие приложения для арабоязычного и двуязычного сообщества. Методы обучения и адаптации, которые мы успешно демонстрируем для арабских моделей, можно расширить на другие языки с низкими и средними ресурсами. — Разработчик: Inception, Cerebras Systems. — Язык(и): (NLP): арабский (MSA) и английский. — Ввод: только текстовые данные. — Выход: модель генерирует текст. — Размеры модели: 590М, 1,3Б, 2,7Б, 6,7Б, 7Б, 13Б, 30Б, 70Б. — Демо:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: inceptionai
Теги: llama, Arabic, English, LLM, Decoder, causal-lm, jais-family, ar
Лайков: 8 | Загрузок: 793
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
