tencent/Tencent-Hunyuan-Large

&nbspGITHUB&nbsp&nbsp | &nbsp&nbsp🖥️&nbsp&nbspофициальный сайт&nbsp&nbsp｜&nbsp&nbsp🕖&nbsp&nbsp HunyuanAPI｜&nbsp&nbsp🐳&nbsp&nbsp Технический отчет Gitee&nbsp&nbsp｜&nbsp&nbsp Демо&nbsp&nbsp&nbsp｜&nbsp&nbsp Tencent Cloud TI&nbsp&nbsp&nbsp Благодаря быстрому развитию технологий искусственного интеллекта модели больших языков (LLM) добились значительного прогресса в таких областях, как обработка естественного языка, компьютерное зрение и научные задачи. Однако по мере увеличения масштаба этих моделей оптимизация потребления ресурсов при сохранении высокой производительности становится ключевой задачей. Чтобы решить эту проблему, мы изучили модели «Смесь экспертов» (MoE). Представленная в настоящее время модель Hunyuan-Large (Hunyuan-MoE-A52B) является крупнейшей в отрасли моделью MoE на основе трансформатора с открытым исходным кодом, которая содержит в общей сложности 389 миллиардов параметров и 52 миллиарда активных параметров. В настоящее время это крупнейшая в отрасли модель MoE на основе трансформатора с открытым исходным кодом, включающая в общей сложности 389 миллиардов параметров и 52 миллиарда активных параметров. Открыв исходный код модели Hunyuan-Large и раскрыв соответствующие технические детали, мы надеемся вдохновить больше исследователей инновационными идеями и…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: tencent
Теги: en, endpoints_compatible
Лайков: 617  |  Загрузок: 598

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.