ALLaM — это серия мощных языковых моделей, предназначенных для развития технологии арабского языка (ALT), разработанной Национальным центром искусственного интеллекта (NCAI) при Саудовском управлении данных и искусственного интеллекта (SDAIA). ALLaM-AI/ALLaM-7B-Instruct-preview обучается с нуля. Наш рецепт предварительного обучения с нуля состоит из двух этапов: обучение на английских токенах 4T, а затем обучение на смешанных арабско-английских токенах 1,2T. Это сохраняет возможности модели по английскому языку без катастрофического забывания, эффективно передавая знания из одного языкового распространения в другое. ALLaM специально разработан для ускорения исследований и разработки ALT с помощью моделей большого языка (LLM). Он служит одним из основополагающих элементов для создания продуктовых предложений, а также для содействия экспериментальным инициативам. Модели серии АЛЛАМ предназначены для того, чтобы стать компонентом более крупной системы искусственного интеллекта, и разработчикам важно учитывать меры безопасности при создании этих систем. Эти меры безопасности имеют решающее значение для обеспечения баланса между эффективностью и безопасностью, а также минимизации потенциальных рисков, например, возникающих в результате интеграции модели с внешними…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: humain-ai
Теги: llama, conversational, ar, en, text-generation-inference, endpoints_compatible
Лайков: 173 | Загрузок: 9,682
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
