Jais-30b-chat-v3 — это Jais-30b-v3, настроенный на основе тщательно подобранного набора данных пар быстрого ответа на арабском и английском языках. Архитектура модели аналогична нашим предыдущим моделям Jais-13b-chat, которые основаны на архитектуре только декодера на основе трансформатора (GPT-3) и используют нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. В этом выпуске мы улучшили способность модели обрабатывать длинные контексты. Текущая версия теперь может обрабатывать до 8000 токенов, что является значительным улучшением по сравнению с пределом в 2000 токенов в нашей предыдущей модели. Ниже приведен пример кода для использования модели. Обратите внимание, что для модели требуется собственный класс модели, поэтому пользователи должны включить параметрtrustremotecode=True при загрузке модели. Чтобы получить ту же производительность, что и в нашем тестировании, необходимо выполнить определенную подсказку. Ниже приведен пример кода, содержащего это форматирование: — Разработано: Core42 (Inception), Cerebras Systems. — Язык(и) (NLP): арабский (MSA) и английский. — Лицензия: Apache 2.0. — Точная настройка на основе модели: jais-30b-v3. — Длина контекста: 8192 токена. — Ввод: только текстовые данные. — Выход: модель генерирует текст. -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inceptionai
Теги: jais, custom_code
Лайков: 26 | Загрузок: 459
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
