microsoft/GRIN-MoE

😁 GRIN МО: МО, информированное о градиенте, обнимает лицо&nbsp | &nbspТехнический отчет&nbsp | &nbsp Лицензия&nbsp | &nbsp Github &nbsp | &nbsp Начало работы&nbsp — Имея всего 6,6 млрд активных параметров, GRIN MoE обеспечивает исключительно хорошую производительность при выполнении широкого набора задач, особенно при выполнении задач по программированию и математике. — GRIN использует SparseMixer-v2 для оценки градиента, связанного с экспертной маршрутизацией, в то время как обычное обучение MoE рассматривает экспертное стробирование как прокси для оценки градиента. — GRIN масштабирует обучение MoE без использования экспертного параллелизма и удаления токенов, в то время как обычное обучение MoE использует экспертный параллелизм и отбрасывание токенов. Модель предназначена для коммерческого и исследовательского использования на нескольких языках. Модель обеспечивает использование для систем и приложений искусственного интеллекта общего назначения, которым требуются: 1) среды с ограниченным объемом памяти/вычислений 2) сценарии с ограниченной задержкой 3) сильные аргументы (особенно код, математика и логика). Наша модель предназначена для ускорения исследований языковых и мультимодальных моделей для использования в качестве строительного блока для генеративных функций искусственного интеллекта. Наши модели не разрабатываются и не оцениваются специально для всех последующих целей. Разработчики должны…

Модальности:
Генерация текста

Области применения:
Генерация кода Диалог / чат

Задача: Генерация текста
Автор: microsoft
Теги: grinmoe, nlp, code, conversational, custom_code, en, endpoints_compatible
Лайков: 198  |  Загрузок: 11,590

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.