Это модель Qwen2.5 MOE (Mixture of Experts), состоящая из ДВУХ моделей Qwen 2.5 Deepseek (Censored/Normal AND Uncensored) 1.5B, создающая модель 4B с версией Deepseek Qwen 2.5 1.5B «без цензуры», так сказать. Модель чуть больше 4B из-за уникального «общего эксперта» (здесь примерно 2,5 модели), используемого в Qwen MOE. Странная конфигурация дает интересное «мышление/рассуждение», которое сильнее, чем любая модель 1.5B по отдельности. Эту модель можно использовать для всех случаев использования, а также (в основном) она не подвергается цензуре. Чтобы использовать эту модель, вам необходимо использовать «Шаблон Jinja», закодированный в GGUF. Возможно, вы сможете использовать шаблоны Llama 3 и/или Chatml, если ваше приложение AI/LLM не может получить доступ к «Шаблону Jinja». В других приложениях используйте Deepseek Tokenizer и/или «Шаблон Jinja». Эта модель содержит в 2 раза большую мощность рассуждений/мышлений DeepSeek Distill и демонстрирует исключительную производительность для модели такого размера. Однако имейте в виду, что поскольку эта модель (и ее основные модели) настолько малы, определенная информация может быть не понята моделью — ссылки на культуру IE и/или вам может потребоваться добавить дополнительные пояснения к вашим подсказкам — больше формулировок, чтобы сделать вещи более понятными. В таком…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, MOE, Qwen 2.5 MOE, Mixture of Experts, Uncensored, 2X1.5B, deepseek, reasoning
Лайков: 11 | Загрузок: 3,233
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
