QwQ — это модель рассуждения из серии Qwen. По сравнению с обычными моделями, настроенными на инструкции, QwQ, способный мыслить и рассуждать, может значительно повысить производительность в последующих задачах, особенно в сложных задачах. QwQ-32B — это модель рассуждения среднего размера, которая способна достичь конкурентоспособной производительности по сравнению с современными моделями рассуждения, например, DeepSeek-R1, o1-mini. QwQ-R1984-32B — это расширенная версия на основе QwQ-32B, которая включает в себя дополнительные функции, такие как возможности без цензуры и функции глубоких исследований. Это позволяет получать более неограниченные ответы и предоставлять более подробную информацию на основе поиска в Интернете в режиме реального времени. — Тип: причинная языковая модель с усилением рассуждений — Этап обучения: предварительное обучение, контролируемая точная настройка, обучение с подкреплением и отсутствие цензуры — Архитектура: трансформаторы с RoPE, SwiGLU, RMSNorm и смещением QKV внимания — Количество параметров: 32,5B — Количество параметров (без внедрения): 31,0B — Количество слоев: 64 — Количество головок внимания (GQA): 40 для Q и 8 для KV — Длина контекста: 8000 токенов — Дополнительные возможности: — Возможности глубокого исследования с помощью веб-поиска — Генерация ответов без цензуры Здесь…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: VIDraft
Теги: qwen2, abliterated, uncensored, SEARCH, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 23 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
