> Модель Huihui-Qwen3-4B-Instruct-2507 с аблитерацией — это нецензурированная экспериментальная версия модели большого языка Qwen3-4B-Instruct-2507, созданная с использованием нового метода удаления, предназначенного для удаления ответов об отказе без использования TransformerLens. Этот подход предлагает более быстрый и эффективный способ обойти стандартное поведение отказа модели, в результате чего выходные данные становятся менее фильтруемыми и более необработанными, хотя ему не хватает строгой фильтрации безопасности и может генерироваться конфиденциальный или противоречивый контент. Модель квантована (4-бита) для эффективного использования, может использоваться непосредственно в библиотеке трансформеров Hugging Face и предназначена в первую очередь для исследовательского или экспериментального использования, а не для производства из-за уменьшенных ограничений контента и связанных с этим рисков. Пользователям рекомендуется тщательно отслеживать результаты и обеспечивать соблюдение этических и юридических требований при развертывании этой модели. (отсортировано по размеру, не обязательно по качеству. IQ-квант часто предпочтительнее, чем аналогичный по размеру не-IQ-квант) Вот удобный график, составленный ikawrakow и сравнивающий некоторые типы квантов более низкого качества (чем меньше, тем лучше):
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: prithivMLmods
Теги: gguf, qwen3, text-generation-inference, en, endpoints_compatible, conversational
Лайков: 9 | Загрузок: 1,074
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
