Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 2-бит. Модель была создана, протестирована и оценена The Kaitchup. Подробная информация о процессе квантования и о том, как использовать модель, приведена здесь: The Recipe for Extremely Accurate and Cheap Quantization of 70B LLMs. Можно точно настроить адаптер поверх него, следуя методологии QLoRA. Подробнее об этом здесь: QLoRA with AutoRound: Cheaper and Better LLM Fine-tuning on Your GPU — Developed by: The Kaitchup — Language(s) (NLP): English — License: Apache 2.0 license
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: kaitchup
Теги: qwen2, auto-gptq, AutoRound, conversational, en, text-generation-inference, endpoints_compatible, 2-bit
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
