Загрузка модели | Результаты оценки | Архитектура модели | Платформа API | Лицензия | Цитирование ———: |: —————: |: —————: |: —————: | Из-за ограничений HuggingFace открытый исходный код в настоящее время работает медленнее, чем наша внутренняя кодовая база при работе на графических процессорах с Huggingface. Чтобы облегчить эффективное выполнение нашей модели, мы предлагаем специальное решение VLM, которое оптимизирует производительность для эффективной работы нашей модели. Для получения дополнительной информации об оценке, такой как настройки нескольких снимков и подсказки, пожалуйста, ознакомьтесь с нашей статьей. DeepSeek-V2 использует инновационные архитектуры, чтобы гарантировать экономичное обучение и эффективный вывод: — Обратите внимание, что мы разрабатываем MLA (латентное внимание с несколькими головками), которое использует низкоуровневое сжатие соединения ключ-значение, чтобы устранить узкое место кэша ключ-значение во время вывода, тем самым поддерживая эффективный вывод. — Для сетей прямого распространения (FFN) мы используем архитектуру DeepSeekMoE, высокопроизводительную архитектуру MoE, которая позволяет обучать более сильные модели при меньших затратах. DeepSeek-V2-Lite имеет 27 слоев и скрытый размер 2048. Он также использует MLA и имеет 16 головок внимания, где каждая голова имеет…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TechxGenus
Теги: deepseek_v2, conversational, custom_code, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 3 | Загрузок: 1,109
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
