生成式 AI 用在跨國鎮壓的案例與 AI 業者的因應
Anthropic 9 月的威脅情報報告列出國家相關行為者用 Claude 進行監控的案例,其中幾件以住在國外的異議人士為對象。Citizen Lab 研究者 10 月在 Just Security 的評論分析這份報告,建議 AI 業者在揭露與通知、偵測與拒絕、保存證據三方面著手。報告與評論都沒有給一般使用者的設定建議。
Anthropic 的威脅情報團隊 9 月 10 日發布〈Detecting and countering misuse of AI: September 2026〉,監控一章列出 2026 年 1 到 7 月間發現並中斷的一系列行動。依報告,國家相關的組織、替國家工作的承包商與商業間諜軟體業者用 Claude 建置、執行監控。其中部分案例被報告歸為跨國鎮壓,對象是住在國外的異議人士與海外社群。
Citizen Lab 的三位研究者 10 月 12 日在 Just Security 發表評論分析這份報告,Citizen Lab 網站 10 月 22 日轉載了摘要。評論分析的案例都出自 Anthropic 的報告。報告與評論的對象都是攻擊者如何使用 AI 服務,都沒有給一般使用者的設定建議。
研究者引用 Freedom House 的定義,數位跨國鎮壓指政府用數位科技恐嚇、壓制流亡在外與海外社群裡的異議人士。依研究者先前訪談受影響者的研究,這類威脅造成恐懼與孤立,也讓人自我審查、退出倡議活動。
研究者把報告的案例歸納成四項變化。第一項是成本,數位鎮壓原本仰賴語言能力、受過訓練的情報分析師與軟體工程師,研究者認為案例顯示 AI 可以取代其中一部分。第二項是公開資料的整理,海外社群在社群平台、通訊軟體、公開資料庫與組織網站留下大量資料。AI 助理可以把零散的資料整理成情報報告,用來重建人際關係、推斷政治傾向與找出所在位置,甚至標出弱點。
第三項是把模型接進固定的流程,少數人員就能監督重複執行、部分自動化的監控報告,其中一案每天自動審閱 15 到 30 篇以上的外國媒體報導。第四項,監控的產出可以支援實體跟監、脅迫、吸收線民與干擾公民團體的活動。研究者也寫到報告沒有證明這些偵察導致了實體攻擊。
依報告的案例,模型參與的環節還包括翻譯與用方言撰寫訊息、替假的網路人設產生多語貼文,以及寫程式建造瀏覽器擴充功能這類監控工具。其中一案還在試行階段,另外備有超過 255 個合成的社群帳號,報告認為這顯示是先備好帳號、之後再投入使用。對照先前一份新聞調查描述的後續監控環節,報告在封鎖帳號之前沒有發現它們用在真實對象上。另一案計畫對流亡媒體的記者發動集體檢舉與機器人帳號放大,報告的寫法是計畫,沒有寫已經執行。
依報告,在計畫對流亡媒體記者集體檢舉的同一個行動裡,Claude 拒絕了幾項秘密訊問與大規模產生假人設的要求。在評論歸為國內監控的一件案例裡,Claude 先拒絕產出監控報告。對方換個說法重新提問之後,模型仍產出了點名 10 位平民的指引。評論提到的另一件國內案例做出的監控系統完全在本機模型上執行,Anthropic 封鎖了帳號,卻無法停用已經部署的系統。
Anthropic 的使用政策禁止用 Claude 進行未經同意的監控與側寫,也禁止用來侵害個人的公民自由與人權。依報告,每個案例都封鎖了相關帳號,也改進偵測同類手法的能力。行動影響到平台以外時,Anthropic 視情況把識別資訊與情報分享給業界夥伴與主管機關。報告另外提到部分行為者用 VPN 繞過 Anthropic 的服務地區限制。
研究者寫明這份報告只反映一家公司在短期內看得到、偵測得到的範圍,部分歸因的信心也有限。以報告本身為例,其中一案只以低信心判斷行為者是替國家安全機關工作的承包商,而不是機關本身。
導讀觀點
研究者提到過去對 AI 用在跨國鎮壓的警告多半從技術能力推想,少有具體的案例,並認為 Anthropic 的報告提供了少見的操作細節。研究者建議偵測不要只抓容易辨認的鎮壓字眼,改為標出社群監控、地理定位、弱點側寫與政治傾向推斷同時出現的組合,這些能力合起來可以指向一套跨國鎮壓的工作流程。
研究者的建議以聯合國《商業與人權指導原則》(UNGPs)為依據,指導原則要求企業處理自身涉入的人權負面影響。評論主張 AI 業者把跨國鎮壓列為獨立的威脅類別,跟國內監控、影響力行動分開,並在三個方向上著手。到 11 月 8 日,查不到 Anthropic、OpenAI、DeepMind 與 xAI 對評論的公開回應。業者這一方目前只看得到 Anthropic 9 月的報告,它早於評論發表,不是對建議的回應。
在第一個方向揭露與通知上,Anthropic 的報告本身就是一份公開揭露,處置的部分寫的是視情況把資訊分享給業界夥伴與主管機關。研究者肯定報告的細節,也認為 OpenAI、DeepMind 與 xAI 可能遇到類似的行動,只是沒有標準化的報告可以評估。研究者也建議通知受影響的社群,Google 與 Apple 已經有通知國家支持攻擊對象的流程。這類通知發給的是遭鎖定的自家使用者,AI 業者面對的被鎖定者卻不一定是自家的使用者,研究者因此建議用對方讀得懂的格式與語言做社群層級的通知。
在第二個方向偵測與拒絕上,研究者肯定 Anthropic 多次在行動大規模部署之前就發現並阻止,也指出部分案例換個說法重新提問就繞過了拒絕。Anthropic 的報告寫的做法是在每個案例改進偵測同類手法的能力,並把調查的結果併入防護措施。
在第三個方向保存證據上,研究者提到已有民事訴訟與刑事調查來自數位跨國鎮壓演變成實體傷害的案件。研究者因此主張業者保存包含歸因資料的詳細事件紀錄,供日後調查使用。研究者也寫明該保存什麼取決於各地法律,目前仍有爭議。
評論與 Citizen Lab 的頁面都沒有給被鎖定者的操作建議。Google 與 Apple 各有通知國家支持行動鎖定對象的流程,評論把它們當作 AI 業者建立通知機制時的參考。
之後讀到其他 AI 業者的威脅報告時,可以比較幾件事:有沒有把跨國鎮壓獨立分類、處置包含哪些步驟(封鎖帳號、改進偵測、分享情報)、有沒有通知被鎖定的社群、保存了哪些紀錄。另一組問題是效果,研究者指出部分案例換個說法就繞過了拒絕。系統部署在本機模型上時,封鎖帳號也停不了,偵測要早到哪個階段才有用也值得比較。研究者提到業界沒有標準化的報告,各家之間能不能比較,也取決於會不會建立共同的格式。