Kanana Safeguard-Prompt 는 카카오의 자체 언어모델인 Kanana 2.1B 기반으로 한 프롬프트 공격 탐지 모델입니다. 이 모델은 대화형 AI 시스템 내 사용자의 발화로부터 악의적인 공격과 관련된 리스크 Нажмите здесь, чтобы получить больше информации. Установите и , чтобы его можно было использовать. Включите A1 и установите его в нужном положении. Kanana Safeguard-Prompt 는 프롬프트 공격을 두 가지 리스크 유형 (быстрое внедрение, быстрая утечка) 으로 정의하고 이를 분류 기준으로 사용합니다. В этом режиме вы можете использовать горячую воду, чтобы она могла быть удалена. 따라서 본 모델은 개발자 커뮤니티에서 자주 논의되는 유형을 중심으로 정책을 수립하였습니다. 코드 카테고리 설명 A1 Prompt Injection LLM 의 지침을 무시하거나 시스템 동작을 변경하려는 의도로 우회하려는 조작된 발화 Prompt Leaking A2 프롬프트, 학습 데이터 등 시스템의 내부 정보를 1. Подсказка о защите Kanana 리스크 카테고리 Подсказка о защите Kanana 는 수기 데이터와 합성 데이터를 함께 활용해 학습되었습니다. 수기 데이터는 내부 정책에 부합하는 데이터를 확보하기 위해 전문 라벨러가 직접 Поместите его в нужное место и нажмите на него. 외부에 공개된 라이선스 데이터도 선별적으로 수집하여 한국어로 번역 및 가공해 사용하였습니다. 또한 거짓 양성 (ложное срабатывание) 데이터에 포함하였습니다. Kanana Safeguard-Prompt – БЕЗОПАСНОЕ/НЕБЕЗОПАСНОЕ 이진 분류 기준으로 성능을 평가했습니다. 모든 평가에서 UNSAFE를 양성 라벨 (положительный ярлык)로 간주하고, 모델이 출력한 첫 번째 토큰을 기준으로 분류했습니다. Нажмите кнопку «Вкл.», чтобы она могла быть использована в качестве источника питания. 분류 기반 모델(Prompt Guard, Deepset, Protect AI) 은 출력된 결과가 양성 레이블에 해당하는지를 확인해 이진 Нажмите на кнопку «Получить». GPT-4o 리스크 카테고리를 분류하는 프롬프트를 нулевой выстрел…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: kakaocorp
Теги: llama, conversational, ko, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 2,623
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.