BharatGen представляет Param-2-17B-MoE-A2.4B, крупномасштабную языковую модель Mixture-of-Experts (MoE), предназначенную для обеспечения высокой емкости модели при сохранении эффективности вывода гораздо меньшей плотной модели. Он использует гибридную архитектуру MoE с общим количеством параметров 17B, активируя при этом только 2,4B параметров на токен. Модель предварительно обучена с нуля, с упором на языковое разнообразие, культурную основу и многоязычное представительство, особенно для индийских языков. Он выпущен в качестве ранней контрольной точки после обучения с расширенными возможностями, включая рассуждение, вызов инструментов, математику и генерацию кода, что делает его пригодным для различных последующих приложений и дальнейшей тонкой настройки. Помимо английского и хинди, модель поддерживает следующий 21 индийский язык: такой широкий языковой охват позволяет более эффективно решать задачи, специфичные для региона, и способствует инклюзивному представительству разнообразных и недостаточно представленных языковых сообществ Индии. Наша гибридная архитектура MoE представляет две ключевые инновации: (1) плотный слой перед разреженными слоями MoE, который преобразует необработанные входные данные в структурированные представления для повышения стабильности, и (2) два общих…
Модальности:
Генерация текста
Области применения:
Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: bharatgenai
Теги: param2moe, mixture-of-experts, multilingual, indian-languages, conversational, custom_code, hi, en
Лайков: 58 | Загрузок: 3,800
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
