Эта модель представляет собой модель int4 с group_size 128 для deepseek-ai/DeepSeek-V4-Flash, созданную с помощью Intel/автоматического округления в режиме RTN. Пожалуйста, следуйте лицензии оригинальной модели. vLLM и Sglang в настоящее время не поддерживаются: https://huggingface.co/Intel/DeepSeek-V4-Flash-W4A16-AutoRound/discussions/1. Подробные инструкции по локальному запуску DeepSeek-V4, включая преобразование веса модели и демонстрации интерактивного чата, см. в папке inference. Для локального развертывания мы рекомендуем установить параметры выборки на температуру = 1,0, topp = 1,0. Для режима рассуждения Think Max мы рекомендуем установить контекстное окно как минимум на 384 КБ** токенов. ~~~bash auto-round deepseek-ai/DeepSeek-V4-Flash —modelfree —outputdir «./DeepSeek-V4-Flash-W4A16» ~~~ Модель может выдавать фактически неверные выходные данные, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как прямые, так и последующие) должны быть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Intel
Теги: deepseek_v4, endpoints_compatible, 4-bit, auto-round
Лайков: 14 | Загрузок: 24,640
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
