Мы рады объявить об официальном выпуске DeepSeek-V3.2-Exp, экспериментальной версии нашей модели. В качестве промежуточного шага к нашей архитектуре следующего поколения V3.2-Exp основывается на V3.1-Terminus путем введения DeepSeek Sparse Attention — механизма разреженного внимания, предназначенного для исследования и проверки оптимизации для обучения и эффективности вывода в сценариях с длинным контекстом. Этот экспериментальный выпуск представляет собой наши текущие исследования в области более эффективных архитектур преобразователей, в частности, уделяя особое внимание повышению эффективности вычислений при обработке расширенных текстовых последовательностей. — DeepSeek Sparse Attention (DSA) впервые обеспечивает мелкозернистую разреженную внимательность, обеспечивая существенные улучшения в долгоконтекстном обучении и эффективности вывода, сохраняя при этом практически идентичное качество вывода модели. — Чтобы точно оценить влияние разреженного внимания, мы намеренно согласовали конфигурации обучения DeepSeek-V3.2-Exp с V3.1-Terminus. В общедоступных тестах в различных областях DeepSeek-V3.2-Exp демонстрирует производительность на уровне V3.1-Terminus. — 2025.11.17: Мы обнаружили, что предыдущие версии демонстрационного кода вывода…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: deepseek-ai
Теги: deepseek_v32, conversational, endpoints_compatible, fp8
Лайков: 967 | Загрузок: 53,159
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
