inarikami/DeepSeek-V3-int4-TensorRT

Этот репозиторий предоставляет квантованную INT4 версию модели DeepSeek V3, подходящую для высокоскоростного вывода с эффективным использованием памяти с помощью TensorRT-LLM. Эта модель представляет собой квантованную контрольную точку, предназначенную для исследований и экспериментов с высокопроизводительным выводом. Используйте на свой страх и риск и проверяйте результаты для производственных сценариев.

Модальности:
Генерация текста

Задача: Генерация текста
Автор: inarikami
Теги: en
Лайков: 15  |  Загрузок: 10

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.