Это предварительно обученная двуязычная модель большого языка с 30 миллиардами параметров для арабского и английского языков. Модель была обучена в общей сложности на 1,6 триллионах токенов, включая 971 миллиард токенов на английском языке, 475 миллиардов на арабском языке и 193 миллиарда в коде. Данная модель является преемником ранее выпущенной модели Jais-30b-v1. Он использует архитектуру только декодера на основе трансформатора (GPT-3) и включает нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. Ниже приведен пример кода для использования модели. Обратите внимание, что для модели требуется собственный класс модели, поэтому пользователи должны включить параметрtrustremotecode=True при загрузке модели. Также обратите внимание, что этот код тестируется на преобразователях == 4.37.2. — Разработчик: Core42 (Inception), Cerebras Systems. — Язык(и) (NLP): арабский и английский. — Лицензия: Apache 2.0. — Ввод: только текстовые данные. — Выход: модель генерирует текст. — Документ: Jais и Jais-chat: арабо-ориентированная основа и настроенные на инструкции открытые генеративные модели большого языка — Блог: доступ здесь — Демо: доступ здесь Мы выпускаем модель Jais 30B под полной…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: inceptionai
Теги: jais, Arabic, English, LLM, Decoder, causal-lm, custom_code, ar
Лайков: 13 | Загрузок: 70
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
