A.X K2 — это крупномасштабная языковая модель Mixure-of-Experts (MoE), обученная с нуля как высокопроизводительная агентная базовая модель и преемник A.X K1. Модель содержит 688 миллиардов общих параметров с 33 миллиардами активных параметров, обеспечивая сильные рассуждения и эффективность следования инструкциям при сохранении практической эффективности вывода. Благодаря обучающему рецепту Think-Fusion единая унифицированная модель поддерживает как режим мышления для решения сложных проблем, так и режим без мышления для кратких ответов с низкой задержкой, позволяя пользователю обменивать качество на стоимость по каждому запросу. A.X K2 разработан в рамках проекта корейского правительства Sovereign AI foundation model, целью которого является построение модели пограничного масштаба с глубоким пониманием корейского языка и культуры. A.X K2 NVFP4 — это NVFP4-количественная версия A.X K2, 688B-параметрической языковой модели Mixture-of-Experts, разработанной SK Telecom. Эта контрольная точка применяет квантование NVFP4 W4A4 к маршрутизируемым экспертам, сохраняя остальные модули в FP8 или BF16. Он сохраняет производительность, сопоставимую с контрольной точкой FP8, при этом уменьшая объем памяти модели примерно наполовину. Модель может быть…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: skt
Теги: vllm, axk2, nvfp4, axk2-nvfp4, conversational, en, ko, zh
Лайков: 4 | Загрузок: 4,717
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
