Это точно настроенная двуязычная модель большого языка с 13 миллиардами параметров для арабского и английского языков. Он основан на архитектуре только декодера на основе трансформатора (GPT-3) и использует нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. Jais-13b-chat — это Jais-13b, настроенный на тщательно подобранный набор из 4 миллионов арабских и 6 миллионов английских пар быстрого ответа. Мы дополнительно дорабатываем нашу модель с помощью инструкций, ориентированных на безопасность, а также обеспечиваем дополнительные ограждения в виде подсказок по безопасности. Наша предварительно обученная модель Jais-13b обучена на 116 миллиардах арабских токенов и 279 миллиардах английских токенов. Сочетание крупнейшего тщательно подобранного набора данных по настройке инструкций на арабском и английском языках, а также добавление многоходовых разговоров позволяет модели общаться на различные темы, уделяя особое внимание арабскому миру. Ниже приведен пример кода для использования модели. Обратите внимание, что для модели требуется собственный класс модели, поэтому пользователи должны включить параметрtrustremotecode=True при загрузке модели. Чтобы получить ту же производительность, что и в нашем тестировании, необходимо ввести конкретную подсказку…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inceptionai
Теги: jais, Arabic, English, LLM, Decoder, causal-lm, custom_code, ar
Лайков: 165 | Загрузок: 6,562
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
