LLaDA2.0-mini-preview — это модель диффузного языка с архитектурой 16BA1B Mixture-of-Experts (MoE). Являясь расширенной, настроенной на инструкции версией серии LLaDA, она оптимизирована для практического применения. + Ведущая архитектура MoE: модель распространения большого языка Mixture of Experts (MoE) с открытым исходным кодом постоянно обучается на серии Ling2.0 с примерно 20 триллионами токенов. + Эффективный вывод: при общем количестве 16 миллиардов параметров во время вывода активируются только 1,4 миллиарда. LLaDA2.0-mini-preview значительно снижает вычислительные затраты, превосходя по производительности плотные модели аналогичного масштаба с открытым исходным кодом. + Впечатляющая производительность при кодировании и сложном рассуждении: отлично справляется с такими задачами, как генерация кода и сложные математические рассуждения, демонстрируя сильные способности к рассуждению. + Использование инструментов: поддерживает вызов инструментов и обеспечивает превосходную производительность при выполнении сложных задач с использованием агентов. + Открытость и расширяемость: полностью открытый исходный код и приверженность прозрачности. В будущем мы планируем выпустить ведущую систему вывода и продолжать инвестировать в передовые области, такие как диффузионный LLM (dLLM), для стимулирования прорывных инноваций. + Усиленное мышление с помощью LLaDA 2.0: LLaDA 2.0…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: llada2_moe, dllm, diffusion, llm, text_generation, conversational, custom_code
Лайков: 90 | Загрузок: 327
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
