Это предварительно обученная двуязычная модель большого языка с 13 миллиардами параметров для арабского и английского языков, обученная на наборе данных, содержащем 72 миллиарда арабских токенов и 279 миллиардов английских/кодовых токенов. Данные на арабском языке повторяются в течение 1,6 эпох (в отличие от 1 эпохи для английского/кода), что в общей сложности составляет 395 миллиардов токенов обучения. Модель основана на архитектуре только декодера на основе трансформатора (GPT-3) и использует нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. Ниже приведен пример кода для использования модели. Обратите внимание, что для модели требуется собственный класс модели, поэтому пользователи должны включить параметрtrustremotecode=True при загрузке модели. Также обратите внимание, что этот код тестируется на преобразователях == 4.28.0. — Разработано: Inception, Университетом искусственного интеллекта Мохамеда бен Заида (MBZUAI) и Cerebras Systems. — Язык(и) (NLP): арабский и английский. — Лицензия: Apache 2.0. — Ввод: только текстовые данные. — Выход: модель генерирует текст. — Документ: Jais и Jais-chat: арабо-ориентированная основа и настроенные на инструкции открытые генеративные модели большого языка — Демонстрация: доступ здесь. Мы выпускаем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: asas-ai
Теги: jais, Arabic, English, LLM, Decoder, causal-lm, custom_code, ar
Лайков: 9 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
