Исходный репозиторий находится здесь: https://huggingface.co/tencent/Tencent-Hunyuan-Large. Это модель Hunyuan-A52B-Instruct, преобразованная в безопасный тензор Huggingface https://huggingface.co/mlx-community/Hunyuan-A52B-Instruct-3bit. Благодаря быстрому развитию технологий искусственного интеллекта модели большого языка (LLM) добились значительного прогресса в таких областях, как обработка естественного языка, компьютерное зрение, и научные задачи. Однако по мере увеличения масштаба этих моделей оптимизация потребления ресурсов при сохранении высокой производительности становится ключевой задачей. Чтобы решить эту проблему, мы изучили модели «Смесь экспертов» (MoE). Представленная в настоящее время модель Hunyuan-Large (Hunyuan-MoE-A52B) является крупнейшей в отрасли моделью MoE на основе трансформатора с открытым исходным кодом, которая содержит в общей сложности 389 миллиардов параметров и 52 миллиарда активных параметров. В настоящее время это крупнейшая в отрасли модель MoE на основе трансформатора с открытым исходным кодом, включающая в общей сложности 389 миллиардов параметров и 52 миллиарда активных параметров. Открыв исходный код модели Hunyuan-Large и раскрыв соответствующие технические детали, мы надеемся вдохновить больше исследователей инновационными идеями и совместно продвигать…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: tencent-community
Теги: hunyuan, conversational, custom_code, en
Лайков: 16 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
