A.X K1 — это крупномасштабная языковая модель Mixture-of-Experts (MoE), предназначенная для эффективного высокопроизводительного рассуждения и выполнения инструкций. Она была обучена с нуля без инициализации из существующей предварительно обученной модели. Модель содержит 519 миллиардов общих параметров, из них 33 миллиарда активных параметров, что обеспечивает высокую производительность при сохранении практической эффективности вывода. Этот гибридный дизайн позволяет пользователю выбирать между углубленным анализом и задержкой ответа в зависимости от требований задачи. — Крупномасштабное разреженное MoE (519B / 33B Active) Использует высокопроизводительную архитектуру Mixture-of-Experts, которая активирует только небольшое подмножество экспертов на каждый токен, обеспечивая высокую производительность рассуждений с эффективностью практического вывода. — Гибридное управление рассуждениями (думать/не думать). Поддерживает управляемую пользователем глубину рассуждений, позволяя проводить явные многоэтапные рассуждения или краткие ответы с малой задержкой в рамках единой унифицированной модели. — Токенизатор, оптимизированный для многоязычных и кодовых данных. Использует токенизатор на основе BBPE с большим словарным запасом, оптимизированный для повышения эффективности токенов на пяти языках (английском, корейском, китайском, японском и испанском), с особым упором на исходный код, структурированный текст и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: skt
Теги: AXK1, conversational, custom_code, en, ko
Лайков: 266 | Загрузок: 2,779
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
