1. Введение 2. Архитектура 3. Вывод — SGLang — vLLM 4. Citation Sarvam-105B — это усовершенствованная модель Mixture-of-Experts (MoE) с активными параметрами 10,3B, предназначенная для превосходной производительности при выполнении широкого спектра сложных задач. Он хорошо оптимизирован для сложных рассуждений, особенно силен в агентских задачах, математике и программировании. Этот репозиторий предоставляет квантованные веса FP8 для Sarvam-105B, что обеспечивает эффективное развертывание с меньшим объемом памяти и более быстрым выводом при сохранении качества модели. Веса квантуются с использованием формата FP8 (E4M3) с помощью набора инструментов NVIDIA ModelOpt. Sarvam-105B — это производитель высшего уровня, постоянно соответствующий или превосходящий несколько основных моделей с закрытым исходным кодом и остающийся в узком диапазоне передовых моделей по различным логическим и агентным критериям. Он демонстрирует исключительные агентные и логические возможности в реальных приложениях, таких как веб-поиск и устранение технических неполадок. Основное внимание во время обучения уделялось индийскому контексту и языкам, в результате чего была достигнута высочайшая производительность на 22 индийских языках для модели такого размера. Sarvam-105B имеет открытый исходный код под лицензией Apache. Более подробную информацию можно найти в нашем блоге.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sarvamai
Теги: sarvam_mla, conversational, custom_code, en, hi, bn, ta, te
Лайков: 5 | Загрузок: 4,194
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
