LLaDA2.0-mini — это модель диффузного языка с архитектурой 16BA1B Mixture-of-Experts (MoE). Являясь расширенной, настроенной на инструкции версией серии LLaDA, она оптимизирована для практического применения. + Ведущая архитектура MoE: модель распространения большого языка Mixture-of-Experts (MoE) с открытым исходным кодом постоянно обучается на серии Ling2.0 с примерно 20 триллионами токенов. + Эффективный вывод: при общем количестве 16 миллиардов параметров во время вывода активируются только 1,4 миллиарда. LLaDA2.0-mini значительно снижает вычислительные затраты, превосходя по производительности плотные модели аналогичного масштаба с открытым исходным кодом. + Впечатляющая производительность при написании кода и сложных рассуждениях: отлично справляется с такими задачами, как генерация кода и сложные математические рассуждения, демонстрируя сильные способности к рассуждению. + Использование инструментов: поддерживает вызов инструментов и обеспечивает превосходную производительность при выполнении сложных задач с использованием агентов. + Открытость и расширяемость: полностью открытый исходный код и приверженность прозрачности. В будущем мы планируем выпустить ведущую систему вывода и продолжать инвестировать в передовые области, такие как диффузионный LLM (dLLM), для стимулирования прорывных инноваций. + Усиленные рассуждения с LLaDA 2.0: серия LLaDA 2.0 будет…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: llada2_moe, dllm, diffusion, llm, text_generation, conversational, custom_code
Лайков: 61 | Загрузок: 59,073
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
