Модель NVIDIA DeepSeek R1 FP4 v2 — это квантованная версия модели DeepSeek R1 компании DeepSeek AI, которая представляет собой авторегрессионную языковую модель, использующую оптимизированную архитектуру преобразователя. Для получения дополнительной информации, пожалуйста, проверьте здесь. Модель NVIDIA DeepSeek R1 FP4 квантуется с помощью оптимизатора модели TensorRT. По сравнению с nvidia/DeepSeek-R1-FP4, эта контрольная точка дополнительно квантует модуль wo в слоях внимания. Эта модель не принадлежит и не разработана NVIDIA. Эта модель была разработана и построена в соответствии с требованиями третьей стороны для этого приложения и варианта использования; см. ссылку на карту модели, отличной от NVIDIA (DeepSeek R1). Тип архитектуры: Трансформаторы Сетевая архитектура: DeepSeek R1 Тип(ы) ввода: Формат(ы) ввода текста: Строка Параметры ввода: 1D (одномерный): Последовательности Другие свойства, связанные с вводом: DeepSeek рекомендует придерживаться следующих конфигураций при использовании моделей серии DeepSeek-R1, включая тестирование, для достижения ожидаемой производительности: — Установите температуру в диапазоне 0,5–0,7 (рекомендуется 0,6), чтобы предотвратить бесконечные повторения или некогерентные выводы. — Избегайте добавления системного приглашения; все инструкции должны содержаться в…
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: nvidia
Теги: Model Optimizer, deepseek_v3, nvidia, ModelOpt, DeepSeekR1, quantized, FP4, conversational
Лайков: 8 | Загрузок: 2,167
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
