📃 Лицензия • 💻 Код • 📑 Технический отчет • 📊 Тесты • 🚀 Начало работы Youtu-LLM — это новый, небольшой, но мощный LLM, содержащий всего 1,96 млрд параметров, поддерживающий контекст длиной 128 КБ и обладающий собственными агентными возможностями. По общим оценкам Youtu-LLM значительно превосходит SOTA LLM аналогичного размера с точки зрения возможностей Commonsense, STEM, кодирования и длинного контекста; В тестировании, связанном с агентами, Youtu-LLM превосходит лидеров более крупного размера и действительно способен выполнять множество задач конечного агента. Youtu-LLM имеет следующие функции: — Тип: авторегрессионные причинные языковые модели с плотным MLA — Версии выпуска: Base и Instruct — Количество параметров: 1.96B — Количество слоев: 32 — Количество головок внимания (MLA): 16 для Q/K/V — Ранг MLA: 1536 для Q, 512 для K/V — MLA Dim: 128 для QK Нет, 64 для QK Rope и 128 для V. Длина контекста: 131 072. Размер словаря: 128 256. Это руководство поможет вам быстро развернуть и вызвать модель Youtu-LLM-2B. Эта модель поддерживает «Режим рассуждения», что позволяет генерировать более качественные ответы посредством цепочки мыслей (CoT). По умолчанию (без флага): включает цепочку мыслей; идеально подходит для сложных логических и рассуждений. Ответ включает в себя…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tencent
Теги: gguf, endpoints_compatible, conversational
Лайков: 26 | Загрузок: 237
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
