Я внес пару изменений: я использую LLM.int8() для загрузки с точностью до 8 бит, а не с полной точностью, что снижает требования к видеопамяти графического процессора в 3 раза. Далее я разрешаю вам настроить всю подсказку следующим образом: Это точно настроенная двуязычная модель большого языка с 13 миллиардами параметров как для арабского, так и для английского языка. Он основан на архитектуре только декодера на основе трансформатора (GPT-3) и использует нелинейность SwiGLU. Он реализует встраивание позиций ALiBi, позволяя модели экстраполировать последовательности большой длины, обеспечивая улучшенную обработку контекста и точность модели. Jais-13b-chat — это Jais-13b, настроенный на тщательно подобранный набор из 4 миллионов арабских и 6 миллионов английских пар быстрого ответа. Мы дополнительно дорабатываем нашу модель с помощью инструкций, ориентированных на безопасность, а также обеспечиваем дополнительные ограждения в виде подсказок по безопасности. Наша предварительно обученная модель Jais-13b обучена на 116 миллиардах арабских токенов и 279 миллиардах английских токенов. Сочетание крупнейшего тщательно подобранного набора данных по настройке инструкций на арабском и английском языках, а также добавление многоходовых разговоров позволяет модели общаться на различные темы, уделяя особое внимание арабскому миру. Ниже приведен пример кода для использования модели. Обратите внимание, что…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: derek-thomas
Теги: jais, Arabic, English, LLM, Decoder, causal-lm, conversational, custom_code
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
