JoyAI-LLM-Flash — это современная модель языка инструкций среднего размера с 3 миллиардами активированных параметров и 48 миллиардами общих параметров. JoyAI-LLM-Flash был предварительно обучен на 20 триллионах текстовых токенов с использованием оптимизатора Muon, после чего была проведена крупномасштабная контролируемая точная настройка (SFT), оптимизация прямых предпочтений (DPO) и обучение с подкреплением (RL) в различных средах. JoyAI-LLM-Flash обеспечивает высокую производительность в области передовых знаний, рассуждений, задач кодирования и агентских возможностей. — Fiber Bundle RL: вводит теорию пучков волокон в обучение с подкреплением, предлагая новую структуру оптимизации FiberPO. Этот метод специально разработан для решения задач крупномасштабного и гетерогенного обучения агентов, повышения стабильности и надежности при сложном распределении данных. — Сотрудничество по обучению и выводам: применение мюонного оптимизатора с плотным MTP, разработка новых методов оптимизации для устранения нестабильностей при масштабировании, обеспечивающих пропускную способность в 1,3–1,7 раза выше, чем у версии без MTP. — Агентский интеллект: предназначен для использования инструментов, рассуждений и автономного решения проблем. Тестовый тест JoyAI-LLM Flash Qwen3-30B-A3B-Instuct-2507 GLM-4.7-Flash(Недумающий)…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jdopensource
Теги: joyai_llm_flash, conversational, custom_code, zh, en, endpoints_compatible, compressed-tensors
Лайков: 5 | Загрузок: 35
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
