Если вы считаете эту модель полезной, поставьте ей лайк и отметьте нас на https://github.com/LianjiaTech/BELLE! 8-битное квантование BELLE-7B-2M и BELLE-7B-0,2M с использованием GPTQ. Код вывода можно найти в нашем репозитории проекта Github: https://github.com/LianjiaTech/BELLE/tree/main/gptq. В основном рекомендуется 8-битное квантование и размер группы 128. В модели, обученной на текущей базовой модели и данных, все еще существует несколько проблем: 1. Модель может генерировать фактические ошибки, когда ее просят следовать инструкциям, связанным с фактами. 2. Иногда генерирует вредоносные ответы, поскольку модель все еще не может идентифицировать потенциально вредоносные инструкции. Поскольку модель по-прежнему имеет свои ограничения, мы требуем, чтобы разработчики использовали код, данные, модель и любые другие артефакты с открытым исходным кодом, созданные в рамках этого проекта, только в исследовательских целях. Коммерческое использование и другие потенциально вредные случаи использования не допускаются. Также цитируйте оригинальные статьи BLOOM, Stanford Alpaca и Self-Instruction! 如果您觉得此模型对您有帮助，请like此模型并在https://github.com/LianjiaTech/BELLE 项目中star我们！此模型的推理代码请见https://github.com/LianjiaTech/BELLE/tree/main/models/gptq .…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BelleGroup
Теги: bloom, feature-extraction, text2text-generation, zh, en, endpoints_compatible
Лайков: 26 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
