Карнак — это расширенная причинно-языковая модель, оптимизированная для генерации арабского и английского языков. Он построен на основе Qwen/Qwen3-30B-A3B-Instruct-2507 и имеет расширение архитектурной глубины и токенизатор, специально оптимизированный для арабского языка для повышения беглости и эффективности. Карнак обучался с использованием высококачественных, отфильтрованных данных через строгий конвейер, чтобы улучшить общие возможности следования инструкциям, достоверность и надежность. — Расширение глубины (~ 40 Б): расширенная глубина для увеличения способности рассуждений и улучшения моделирования долгосрочных зависимостей. — Токенизатор, оптимизированный для арабского языка: повышена эффективность токенизации на арабском языке, что приводит к уменьшению фрагментации токенов и повышению качества генерации. — Многоэтапное обучение: модель развивалась посредством: предварительно обученных весов → увеличения глубины → продолжения предварительной тренировки → SFT (контролируемая точная настройка). — Окно расширенного контекста: предназначено для использования в течение длительного контекста с безопасным диапазоном контекста до 20 000 токенов (рекомендуется оставаться в пределах этого предела для оптимальной стабильности). — Название модели: Karnak — Базовая модель: Qwen/Qwen3-30B-A3B-Instruct-2507 — Число параметров: ~40B (расширенный по глубине) — Языки: арабский, английский — Обучение: высококачественные фильтрованные данные + многоступенчатая…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Applied-Innovation-Center
Теги: qwen3_moe, vllm, causal-lm, depth-extension, arabic, english, karnak, qwen
Лайков: 30 | Загрузок: 4,268
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
