TWGuard 是一個推論安全研究計畫，旨在提出適用於臺灣語境，的大語言模型安全護欄（LLM guardrail），以滿足 AI 技術落地安全合規需求。 藉由高品質真實語料及人工標注，我們提出一個能反映臺灣語境的安全護欄模型，能攔截偵測各種帶有有害意圖的 LLM 提示詞（Prompt），例如犯罪、違法專業建議、色情、兒童性剝削等。 在評測中我們的模型顯著優於 Nvidia、Google、Meta、OpenAI、Alibaba 等 AI lab 的最佳模型（SOTA）。 我們的研究著重於反映臺灣語境情境，以期成果能適用於真實案場： 1. 基於語境設計：多數研究著重於中文支援，然而實際語境存在 code-mixing，例如臺灣常見注音文、網路用語、本土語言並用的情況。測試顯示 TWGuard 可以更少成本資料達成比支援中文模型更佳效果。 3. 反映真實語境：TWGuard 在基於真實語料庫的評測結果良好，相較之下，一般使用模擬合成語料訓練的模型常有效能衰退的狀況。 4. 低誤報率（FPR）：TWGuard 在 FPR 方面有良好的控制，由於誤報在許多情境中的處理成本遠高於漏報，此指標對於實際案場技術選型至關重要。 — Paper: TWGuard: A Case Study of LLM Safety Guardrails for Localized Linguistic Contexts — Developers: 中華電信研究院 / Chunghwa Telecom Laboratories。若有任何問題請以論文作者電子信箱聯絡。 — Keywords: 正體中文, 繁體中文, 臺灣中文, 臺灣漢語, 臺灣華語, Tradtional Chinese, Standard Chinese, Taiwan Mandarin This repository provides a Parameter-Efficient Fine-Tuned (PEFT/LoRA) adapter designed for Taiwanese linguistic context harmful intention detection. We evaluate guardrail performance in the Taiwan linguistic context using a held-out evaluation split of 665 samples drawn from outside the training split of the data pool. The positive sample ratio is set to 20%, All models are evaluated in a zero-shot setting, meaning each…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: chunghwa-telecom
Теги: llama, guardrail, safeguard, taiwan, traditional_chinese, guard, safety, security
Лайков: 3 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
