Эта модель представляет собой модель автоматического округления int4 с размером группы 128 Qwen/Qwen2-7B, созданную с помощью Intel/автоокругления. Если вам нужен формат AutoGPTQ, загрузите модель с изображением докера версии 07a117c. Рекомендуется использовать стек программного обеспечения Gaudi. Более подробную информацию можно найти в Путеводителе Гауди. Вот пример команды для воспроизведения модели. Мы заметили большее падение точности в китайских задачах и рекомендуем использовать для калибровки высококачественный китайский набор данных. Однако с некоторыми общедоступными наборами данных мы не добились большей точности. Модель может давать фактически неверные результаты, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении Intel для искусственного интеллекта: ссылка Intel Neural Compressor ссылка Intel Extension for Transformers Лицензия на эту модель не распространяется…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: INC4AI
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible, 4-bit, intel/auto-round
Лайков: 6 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
