Мы представляем вариант Noon с 7 миллиардами параметров, модели большого арабского языка, основанной на BLOOM, базовой модели, выпущенной семинаром bigscience Workshop. В ходе обучения Noon основное внимание уделялось созданию модели, реагирующей на различные типы инструкций и вопросов (генерация текста, генерация кода, математические задачи, вопросы закрытой/открытой книги и т. д.). Мы обучали модель с использованием платформы ColossalAI, которая полностью поддерживает модели библиотеки HuggingFace и реализует различные методы оптимизации и квантования для LLM миллиардного масштаба. Данные обучения представляют собой комбинацию наборов данных на арабском языке, охватывающих несколько задач. Более подробная информация представлена в разделе наборов данных. Ролик «Нэн» в 7 сезоне «Нигер» в фильме «Нигер» в фильме «Нет» العربية المطروح حتى الآن. Он был убит в 110 000 раз в году в Нью-Йорке. Он выступил в роли 11-го числа в Кейптауне и Сан-Франциско в Нью-Йорке. وحل المسائل الرياضية, والأسئلة المغلقة/المفتوحة. Он выступил в роли Дэвида Трэйса в фильме «Старый мир». Для этого используются LoRA (адаптация низкого ранга) и ZeRO (оптимизация с нулевой избыточностью). Он сказал, что в действительности он был убит…
Модальности:
Генерация текста
Области применения:
Ответы на вопросы
Задача: Генерация текста
Автор: Naseej
Теги: bloom, instructional, question-answering, arabic, ar, en, text-generation-inference, endpoints_compatible
Лайков: 49 | Загрузок: 254
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
