JoyAI-LLM-Flash — это современная языковая модель среднего размера с 3 миллиардами активированных параметров и 48 миллиардами общих параметров. JoyAI-LLM-Flash был предварительно обучен 20 триллионам текстовых токенов с использованием оптимизатора Muon, за которым последовала крупномасштабная контролируемая точная настройка (SFT), оптимизация прямых предпочтений (DPO) и обучение с подкреплением (RL) в различных средах. JoyAI-LLM-Flash обеспечивает высокую производительность благодаря передовым знаниям, рассуждениям, задачам кодирования и агентским возможностям. — Fiber Bundle RL: вводит теорию пучков волокон в обучение с подкреплением, предлагая новую структуру оптимизации FiberPO. Этот метод специально разработан для решения задач крупномасштабного и гетерогенного обучения агентов, повышения стабильности и устойчивости при сложном распределении данных. — Совместная работа по обучению и взаимодействию: применяйте мюонный оптимизатор с плотным MTP, разрабатывайте новые методы оптимизации для устранения нестабильностей при увеличении масштаба, обеспечивая пропускную способность от 1,3 до 1,7 раза по сравнению с версией без MTP. — Агентский интеллект: предназначен для использования инструментов, рассуждений и автономного решения проблем. Эталонная вспышка JoyAI-LLM Qwen3-30B-A3B-Instuct-2507 GLM-4.7-Flash (без мыслей)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jdopensource
Теги: joyai_llm_flash, conversational, custom_code, zh, en, endpoints_compatible, 8-bit, blockwise_int8
Лайков: 3 | Загрузок: 37
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
