Эта модель представляет собой модель int4 с group_size128 и сим-квантованием microsoft/phi-2, созданным с помощью intel/auto-round. Если вам нужен формат AutoGPTQ, загрузите модель с изображением докера версии 5973e3a, рекомендуется использовать стек программного обеспечения Gaudi. Более подробную информацию можно найти в Путеводителе Гауди. Модель может давать фактически неверные результаты, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении Intel для искусственного интеллекта: Ссылка на Intel Neural Compressor. Ссылка на расширение Intel для трансформаторов. Лицензия на эту модель не является юридической консультацией. Мы не несем ответственности за действия третьих лиц, использующих данную модель. Пожалуйста, проконсультируйтесь с юристом, прежде чем использовать эту модель в коммерческих целях.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: INC4AI
Теги: phi, text-generation-inference, endpoints_compatible, 4-bit, intel/auto-round
Лайков: 4 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
