JoyAI-LLM Flash-Base — это современная языковая модель смешанных экспертов (MoE) с 3 миллиардами активированных параметров и 48 миллиардами общих параметров. Обученная с помощью оптимизатора Muon, база JoyAI Flash-base обеспечивает исключительную производительность при выполнении передовых задач по знанию, рассуждению и кодированию, будучи при этом тщательно оптимизированной для агентских возможностей. Серия JoyAI-LLM Flash направлена на ускорение высокопроизводительных приложений, чувствительных к задержкам, где стоимость запроса должна оставаться минимальной. — Сотрудничество по обучению и выводу: применение мюонного оптимизатора с плотным MTP, разработка новых методов оптимизации для устранения нестабильностей при масштабировании, обеспечивающих пропускную способность в 1,3–1,7 раза выше, чем у версии без MTP. — Агентский интеллект: специально разработан для использования инструментов, рассуждений и автономного решения проблем. GSM8K 88,78 90,37 MATH 78,16 59,60 MATH 500 77,00 58,00 И репозиторий кода, и веса моделей выпускаются по модифицированной лицензии MIT.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jdopensource
Теги: joyai_llm_flash, custom_code, zh, en
Лайков: 23 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
