Это предварительно обученная двуязычная крупноязыковая модель с 30 миллиардами параметров для арабского и английского языков, обученная на наборе данных, содержащем 126 миллиардов арабских токенов, 251 миллиард английских и 50 миллиардов токенов кода. Эта модель, как и наши предыдущие выпуски моделей Jais-13b, основана на архитектуре только декодера на основе трансформатора (GPT-3) и использует нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. Ниже приведен пример кода для использования модели. Обратите внимание, что для модели требуется собственный класс модели, поэтому пользователи должны включить параметрtrustremotecode=True при загрузке модели. Также обратите внимание, что этот код тестируется на преобразователях == 4.32.0. — Разработчик: Core42 (Inception), Cerebras Systems. — Язык(и) (NLP): арабский и английский. — Лицензия: Apache 2.0. — Ввод: только текстовые данные. — Выход: модель генерирует текст. — Документ: Jais и Jais-chat: арабско-ориентированная основа и настроенные на инструкции открытые генеративные модели большого языка — Блог: доступ здесь — Демо: доступ здесь Мы выпускаем модель Jais 30B под полной лицензией с открытым исходным кодом. Мы приветствуем все отзывы и возможности сотрудничества.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: inceptionai
Теги: jais, Arabic, English, LLM, Decoder, causal-lm, custom_code, ar
Лайков: 25 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
