Это нецензурированная версия zai-org/GLM-4.7, созданная с использованием аблитерации (более подробную информацию об этом см. в разделе «Удалить-отказы-с-трансформерами»). Это грубая, экспериментальная реализация для устранения отказов из модели LLM без использования TransformerLens. Новая версия Q2K даже меньше версии Q40. Тесты, проведенные с использованием Opencode, подтвердили, что он может столь же эффективно выполнять поставленные задачи. Используйте программу разделения llama.cpp для объединения модели (необходимо скомпилировать llama-gguf-split). Используя llama-serve и вызов инструмента тестирования открытого кода, становится очевидным, что производительность превосходна. Для получения более подробной информации вы можете обратиться к результатам наших испытаний. Ниже приведены соответствующие конфигурации openconde.json, используемые в среде Docker. — Риск конфиденциальных или противоречивых результатов: безопасная фильтрация этой модели была значительно уменьшена, что потенциально может создавать конфиденциальный, противоречивый или неприемлемый контент. Пользователи должны проявлять осторожность и тщательно проверять полученные результаты. — Подходит не для всех аудиторий: из-за ограниченной фильтрации контента результаты модели могут быть неподходящими для общедоступных мест, несовершеннолетних пользователей или приложений, требующих высоких…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huihui-ai
Теги: gguf, abliterated, uncensored, GGUF, en, zh, endpoints_compatible, conversational
Лайков: 26 | Загрузок: 1,304
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
