Это Qwen/QwQ-32B, квантованный с помощью AutoAWQ в 4-разрядном режиме. Модель была создана, протестирована и оценена The Kaitchup. Модель совместима с vLLM и Transformers. Подробная информация о процессе квантования и о том, как использовать модель, приведена здесь: The Kaitchup — Разработано: The Kaitchup — Язык(и) (NLP): Английский — Лицензия: Лицензия Apache 2.0
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kaitchup
Теги: qwen2, autoround, conversational, en, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 3 | Загрузок: 30
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
