— Архитектура модели: DeepSeek-Coder-V2-Instruct — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование: FP8 — Активационное квантование: FP8 — Варианты предполагаемого использования: Предназначено для коммерческого и исследовательского использования на английском языке. Как и Meta-Llama-3-7B-Instruct, эта модель предназначена для общения в режиме помощника. — За пределами области применения: использование любым способом, нарушающим применимые законы и правила (включая законы о торговом регулировании). Используйте на языках, отличных от английского. — Дата выпуска: 22.07.2024 — Версия: 1.0 — Лицензия(и): deepseek-license — Разработчики моделей: Neural Magic В тесте HumanEval+ она достигает среднего балла 88,98, тогда как неквантованная модель достигает 87,63. Эта модель была получена путем квантования весов и активаций DeepSeek-Coder-V2-Instruct для типа данных FP8, готового к выводу с vLLM >= 0,5.2. Эта оптимизация уменьшает количество бит на параметр с 16 до 8, уменьшая размер диска и требования к памяти графического процессора примерно на 50%. В частности, эту модель теперь можно загружать и оценивать только с помощью 4 графических процессоров H100 вместо 8. Квантуются только веса и активации линейных операторов внутри блоков преобразователей. Симметричный…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: deepseek_v2, fp8, vllm, conversational, custom_code, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 445
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
