Это модель Qwen2.5 MOE (Mixture of Experts), состоящая из ДВУХ моделей Qwen 2.5 Deepseek (Censored/Normal AND Uncensored) 7B, создающих модель 19B с «уничтоженной» (без цензуры) версией Deepseek Qwen 2.5 7B, так сказать, «ответственной». Модель чуть больше 19B из-за уникального «общего эксперта» (здесь примерно 2,5 модели), используемого в Qwen MOE. Эта «странная» конфигурация дает интересное «мышление/рассуждение», которое сильнее, чем любая модель 7B по отдельности. И вы можете использовать любые настройки температуры, какие захотите (а не узкий диапазон от 0,4 до 0,8), и модель все равно будет «думать/рассуждать». Эту модель можно использовать для всех случаев использования, а также (в основном) она не подвергается цензуре. Чтобы использовать эту модель, вам необходимо использовать «Шаблон Jinja», закодированный в GGUF. Возможно, вы сможете использовать шаблоны Llama 3 и/или Chatml, если ваше приложение AI/LLM не может получить доступ к «Шаблону Jinja». В других приложениях используйте Deepseek Tokenizer и/или «Шаблон Jinja». Эта модель содержит в два раза больше возможностей моделей рассуждения/мышления DeepSeek Distill 7B и демонстрирует исключительную производительность. Кроме того, модель DeepSeek Qwen 7B основана на математической модели Qwen 7B, поэтому эта модель больше ориентирована на решение математических/логических задач, и я бы также…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, MOE, Qwen 2.5 MOE, Mixture of Experts, Uncensored, 2X7B, deepseek, reasoning
Лайков: 6 | Загрузок: 624
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
