Этот репозиторий предоставляет AWQ 4-битную квантованную версию модели QwQ-32B-Preview, первоначально разработанную командой Qwen. Квантованная модель значительно снижает использование памяти и вычислительные требования, что делает ее подходящей для развертывания на оборудовании с ограниченными ресурсами. QwQ-32B-Preview — это экспериментальная исследовательская модель, направленная на расширение возможностей ИИ в рассуждении, особенно в математических задачах и задачах кодирования. Хотя она демонстрирует многообещающие аналитические способности, она имеет несколько важных ограничений: — Смешение языков и переключение кода: модель может неожиданно переключаться между языками или смешивать их, влияя на четкость ответов. — Рекурсивные циклы рассуждения: существует вероятность того, что модель войдет в циклические шаблоны рассуждений, что приведет к длинным ответам без окончательных ответов. — Вопросы безопасности и этики: Для обеспечения надежной и безопасной работы необходимы усиленные меры безопасности. Пользователи должны проявлять осторожность при развертывании модели. — Ограничения производительности: несмотря на превосходство в математике и программировании, модель может уступать в таких областях, как здравое рассуждение и тонкое понимание языка. Вот как загрузить токенизатор и модель и сгенерировать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: KirillR
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 25 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
