Эта модель представляет собой смешанную модель int4 с размером группы 128 и симметричным квантованием zai-org/GLM-4.7, созданную с помощью Intel/автоматического округления через RTN (без настройки алгоритма)**. Неэкспертные слои являются резервными до 8 бит. Пожалуйста, обратитесь к разделу «Создание модели» для получения более подробной информации. Пожалуйста, следуйте лицензии оригинальной модели. Модель может давать фактически неверные результаты, и на нее не следует полагаться для получения фактически точной информации. Из-за ограничений предварительно обученной модели и наборов данных точной настройки вполне возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные результаты. Поэтому перед развертыванием каких-либо приложений модели разработчикам следует провести тестирование безопасности. Пользователи (как непосредственные, так и последующие) должны быть осведомлены о рисках, предвзятости и ограничениях модели. Вот несколько полезных ссылок, чтобы узнать больше о программном обеспечении искусственного интеллекта Intel: Лицензия на эту модель не является юридической консультацией. Мы не несем ответственности за действия третьих лиц, использующих данную модель. Пожалуйста, проконсультируйтесь с юристом, прежде чем использовать эту модель в коммерческих целях. @article{cheng2023optimize, title={Оптимизируйте округление веса с помощью знакового градиентного спуска для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Intel
Теги: glm4_moe, conversational, 4-bit, auto-round
Лайков: 25 | Загрузок: 300
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
