Youtu-LLM — это новый, небольшой, но мощный LLM, содержащий всего 1,96 млрд параметров, поддерживающий контекст длиной 128 КБ и обладающий собственными агентскими возможностями. По общим оценкам Youtu-LLM значительно превосходит SOTA LLM аналогичного размера с точки зрения возможностей Commonsense, STEM, кодирования и длинного контекста; В тестировании, связанном с агентами, Youtu-LLM превосходит лидеров более крупного размера и действительно способен выполнять множество задач конечного агента. Youtu-LLM имеет следующие функции: — Тип: авторегрессионные причинные языковые модели с плотным MLA — Версии выпуска: Base и Instruct — Количество параметров: 1.96B — Количество слоев: 32 — Количество головок внимания (MLA): 16 для Q/K/V — Ранг MLA: 1536 для Q, 512 для K/V — MLA Dim: 128 для QK Нет, 64 для QK Rope и 128 для V — Длина контекста: 131 072 — Размер словаря: 128 256 — [2026.01.28] Теперь вы можете напрямую использовать Youtu-LLM с Transformers>=5.1.0. — [2026.01.07] Теперь вы можете точно настроить Youtu-LLM с помощью ModelScope. — [2026.01.04] Теперь вы можете точно настроить Youtu-LLM с помощью LlamaFactory. > Примечание. Если вы хотите использовать Youtu-LLM-2B-Base на основе более ранних версий трансформаторов (>=4.56.0, мы используем APTBench для оценки агентных возможностей базовой модели. Если вы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: tencent
Теги: youtu, endpoints_compatible
Лайков: 42 | Загрузок: 3,330
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
