1. Введение 2. Архитектура 3. Тесты — Знания и кодирование — Рассуждение и математика — Агент 4. Вывод — Обнимающее лицо — vLLM — SGLang 5. Сноска 6. Citation Sarvam-30B — это усовершенствованная модель смеси экспертов (MoE) с 2,4B невстраиваемыми активными параметрами, разработанная в первую очередь для практического развертывания. Он сочетает в себе сильные аргументы, надежные способности к кодированию и лучшее в своем классе качество разговорной речи на индийских языках. Sarvam-30B создан для надежной работы в средах с ограниченными ресурсами и может обрабатывать многоязычные голосовые вызовы при выполнении вызовов инструментов. Основное внимание во время обучения уделялось индийскому контексту и языкам, что привело к высочайшему уровню производительности на 22 индийских языках для модели такого размера. Sarvam-30B имеет открытый исходный код под лицензией Apache. Более подробную информацию можно найти в нашем блоге. Модель 30B MoE разработана для обеспечения пропускной способности и эффективности памяти. Он использует 19 слоев, плотный промежуточный размер FFN 8192, moeintermediatesize 1024, маршрутизацию топ-6, сгруппированные головки KV (numkeyvalueheads=4) и чрезвычайно высокую веревочную тету (8e6`) для стабильности в длительном контексте без масштабирования RoPE. Он имеет 128 экспертов с общим экспертом, коэффициентом маршрутизации 2,5 и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sarvamai
Теги: gguf, en, hi, bn, ta, te, mr, gu
Лайков: 17 | Загрузок: 629
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
