JoyAI-LLM Flash — это современная модель языка инструкций среднего размера с 3 миллиардами активированных параметров и 48 миллиардами общих параметров. JoyAI-LLM Flash был предварительно обучен на 20 триллионах текстовых токенов с использованием оптимизатора Muon, после чего была проведена крупномасштабная контролируемая точная настройка (SFT), оптимизация прямых предпочтений (DPO) и обучение с подкреплением (RL) в различных средах. JoyAI-LLM Flash обеспечивает высокую производительность в области передовых знаний, рассуждений, задач кодирования и агентских возможностей. — Оптимизация политики волокон: вводит теорию пучков волокон в обучение с подкреплением, предлагая новую структуру оптимизации FiberPO. Этот метод специально разработан для решения задач крупномасштабного и гетерогенного обучения агентов, повышения стабильности и надежности при сложном распределении данных. ссылка на документ — Сотрудничество по обучению и выводу: применить мюонный оптимизатор с плотным MTP, разработать новые методы оптимизации для устранения нестабильностей при масштабировании, обеспечивая пропускную способность в 1,3–1,7 раза выше, чем у версии без MTP. — Агентский интеллект: предназначен для использования инструментов, рассуждений и автономного решения проблем. Тест флэш-памяти JoyAI-LLM Qwen3-30B-A3B-Instuct-2507…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jdopensource
Теги: joyai_llm_flash, conversational, custom_code, zh, en, eval-results, endpoints_compatible
Лайков: 159 | Загрузок: 1,719
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
