Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound

Эта модель представляет собой Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound, квантованный LLM, основанный на работе, представленной в SignRoundV2: устранение разрыва в производительности при чрезвычайно низкобитном постобученном квантовании для LLM. Квантование осуществлялось с использованием алгоритма AutoRound. Эта модель представляет собой модель int4 с group_size 128 и симметричным квантованием deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, созданным алгоритмом intel/auto-round. ~~~python из импорта трансформаторов AutoModelForCausalLM, AutoTokenizer quantizedmodeldir = «Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound» model = AutoModelForCausalLM.frompretrained( quantizedmodeldir, torchdtype=»auto», device_map=»auto», ) tokenizer = AutoTokenizer.frompretrained(quantizedmodeldir,trustremote_code=True) подсказки = [ «9.11和9.8哪个数字大», «Сколько e в word deepseek», «На дереве десять птиц. Охотник стреляет в одну. Сколько осталось на дереве?», ] texts = [] для подсказки в подсказках: messages = [ {«role»: «user», «content»: Prompt} ## измените это, чтобы оно соответствовало официальному использованию ] text = tokenizer.applychattemplate( messages, tokenize=False, addogenicprompt=True ) texts.append(text) inputs = tokenizer(texts, return_tensors=»pt»,…

Модальности:
Генерация текста

Области применения:
Диалог / чат Логика и рассуждение

Задача: Генерация текста
Автор: Intel
Теги: qwen3, conversational, text-generation-inference, endpoints_compatible, 4-bit, auto-round
Лайков: 6  |  Загрузок: 59

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.