Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была создана, протестирована и оценена компанией The Kaitchup. Подробности о процессе квантования и о том, как использовать модель, можно найти здесь: Рецепт чрезвычайно точного и дешевого квантования LLM 70B+. Поверх него можно точно настроить адаптер, следуя методологии QLoRA. Подробнее об этом здесь: QLoRA с AutoRound: более дешевая и лучшая точная настройка LLM на вашем графическом процессоре. Разработчик: The Kaitchup. Язык(и) (NLP): английский. Лицензия: лицензия Apache 2.0.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: kaitchup
Теги: qwen2, auto-gptq, AutoRound, conversational, en, text-generation-inference, endpoints_compatible, 4-bit
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
