Мы представляем K-EXAONE, крупномасштабную многоязычную языковую модель, разработанную LG AI Research. K-EXAONE, созданный с использованием архитектуры Mixture-of-Experts, имеет 236 миллиардов общих параметров, из которых 23 миллиарда активны во время вывода. Оценки производительности в различных тестах показывают, что K-EXAONE превосходит других в рассуждении, агентских возможностях, общих знаниях, многоязычном понимании и обработке длинного контекста. — Архитектура и эффективность: имеет детальную структуру MoE на 236 байт (активная 23 байт), оптимизированную с помощью прогнозирования нескольких токенов (MTP), обеспечивающую самоспекулятивное декодирование, что увеличивает пропускную способность вывода примерно в 1,5 раза. — Возможности длинного контекста: встроенная поддержка контекстного окна размером 256 КБ с использованием гибридной схемы внимания 3:1 со скользящим окном из 128 токенов, что позволяет значительно минимизировать использование памяти во время обработки длинных документов. — Многоязычная поддержка: поддерживается 6 языков: корейский, английский, испанский, немецкий, японский и вьетнамский. Имеет переработанный словарь объемом 150 тыс. с SuperBPE, повышающий эффективность токена примерно на 30%. — Агентские возможности: демонстрирует превосходные возможности использования инструментов и поиска с помощью многоагентных стратегий. — Безопасность и этика: в соответствии с универсальными…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LGAI-EXAONE
Теги: exaone_moe, lg-ai, exaone, k-exaone, conversational, en, ko, es
Лайков: 14 | Загрузок: 2,072
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
