一个更好的实现, 试试这个: DeepSeek-V3.2-задает-пользователям-вопросы-пока-они-думают https://modelscope.cn/studios/likewendy/DeepSeek-V3.2-asks-the-user-questions- while-they-are-thinking/summary 该模型基于 Qwen2.5-3B-Instruct 的动态4位量化，使用 QLoRA在两个开源数据集一个合成数据集上训练了 3 эпохи,最大上下文长度为 8192。成功的将类似于 DeepSeek-r1 的思维链迁移到 Qwen2.5-3B-Instruct ，并且实现了 «使用系统提示控制思维链»使模型可以更灵活的产生思维链并在思考的过程中与外界交互调用工具，从而实现模型自身«具身智能».该特性旨在解决:模型在输出思考过程的时候,遇到需要查询资料或者用户补充问题时,无法与外界交互,从而导致推理性能得不到释放的问题。 Агент MCP以多轮对话的形式调用工具的不足,将工具调用搬到思维链中来,借助思维链提高工具使用的水平和效益,更好的利用起现实世界中的各种工具。合成数据集使用该仓库 yilin-chatgpt-prompts 的提示词通过自动化数据合成管道,合成了 2000余篇意林风格的文章。 提供合并到 Qwen2.5-3B-Instruct 的16位 .safetensors 文件，和 GGUF 格式的 BF16、Q4KM文件以方便 оллама 部署。 1. 你可以使用 оллама 部署，尽可能的使用 16 位 GGUF文件, 除非你的硬件难以运行它, 那么, 你可以使用 Q4KM, 如果你使用 Q4KM一个好的技巧是,请尝试使用类似于这样的 приглашение пользователя: 你可以直接使用 vllm 运行此模型,只需传入Likewendy/Qwen2.5-3B-YiLin-GGUF-q4km。
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: likewendy
Теги: gguf, qwen2, not-for-all-audiences, text-generation-inference, unsloth, conversational, zh, en
Лайков: 10 | Загрузок: 1,342
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
