— no more error loading message: «unknown pre-tokenizer type: deepseek-r1-qwen» — works fine for llama architecture use any gguf connector to interact with gguf file(s), i.e., connector — base model: deepseek-ai/DeepSeek-R1 — tool used for quantization: cutter for all our (here refer to deekseek-ai) models, the maximum generation length is set to 32,768 tokens; for benchmarks required sampling, we use a temperature of $ 0.6 $, a top-p value of $ 0.95 $, and generate 64 responses
Модальности:
Генерация текста
Области применения:
Диалог / чат Логика и рассуждение
Задача: Генерация текста
Автор: calcuis
Теги: gguf, deepseek-r1, gguf-connector, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 1,560
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
