В этой серии моделей я представляю первую габлитерацию, новую технику модификации веса нейронов, которая выходит за рамки традиционных методов аблитерации за счет адаптивных многонаправленных проекций с регуляризованным выбором слоев. Моя новая техника габлитерации устраняет фундаментальное ограничение существующих методов аблитерации, которые ставят под угрозу качество модели при попытке изменить определенные поведенческие модели. В эту серию входят модели с параметрами от 0,6B до 32B, демонстрирующие масштабируемость и эффективность метода габлитерации для моделей разных размеров. Основываясь на основополагающей работе Arditi et al. (2024) об однонаправленной аблитерации, Габлитерация распространяется на комплексную многонаправленную структуру с теоретическими гарантиями. Мой метод использует разложение по сингулярным значениям на матрицах различий между вредными и безвредными представлениями подсказок для извлечения нескольких указаний об отказе. Если вы используете эти модели, укажите оригинальное исследование (статья выйдет позже в этом году): Эта работа основана на фундаментальном исследовании Arditi et al. (2024) об идентификации направления отказа в больших языковых моделях.
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат Юриспруденция
Задача: Генерация текста
Автор: Goekdeniz-Guelmez
Теги: qwen3, uncensored, code, legal, text-generation-inference, conversational, endpoints_compatible
Лайков: 9 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
