QwQ-32B-Preview — это экспериментальная исследовательская модель, разработанная командой Qwen и ориентированная на развитие возможностей ИИ в рассуждении. Будучи предварительной версией, она демонстрирует многообещающие аналитические возможности, но имеет несколько важных ограничений: 1. Смешение языков и переключение кода. Модель может неожиданно смешивать языки или переключаться между ними, влияя на ясность ответа. 2. Рекурсивные циклы рассуждения. Модель может входить в циклические шаблоны рассуждений, приводящие к длинным ответам без окончательного ответа. 3. Соображения безопасности и этики. Модель требует усиленных мер безопасности для обеспечения надежной и безопасной работы, и пользователи должны проявлять осторожность при ее развертывании. 4. Ограничения производительности и контрольных показателей. Модель превосходно справляется с математикой и программированием, но имеет возможности для улучшения в других областях, таких как рассуждения на основе здравого смысла и тонкое понимание языка. Спецификация: — Тип: каузальные языковые модели — Этап обучения: предварительное обучение и постобучение — Архитектура: преобразователи с RoPE, SwiGLU, RMSNorm и смещением внимания QKV — Количество параметров: 32,5B — Количество параметров (без внедрения): 31,0B — Количество слоев: 64 — Количество головок внимания (GQA): 40 для Q и 8…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: gguf, chat, qwen2, qwen, en, endpoints_compatible, conversational
Лайков: 12 | Загрузок: 148
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
