證券時報
2025-07-04 16:25
2025年，被稱為“智能體元年”。這是AI發展路徑上的一次范式突變：從“我說AI答”到“我說AI做”，從對話生成躍遷到自動執行，智能體正成為最重要的商業化錨點和下一代人機交互范式。
但越接近落地，風險也越有實感。智能體的核心能力——自主性、行動力，也恰恰是風險滋生的窗口。越能干的智能體，越可能越權、越界，甚至失控。
結合調查問卷和行業訪談，本次《智能體體檢報告——安全全景掃描》從最新發展狀況、合規認知度、合規實際案例三個角度，試圖回答清楚一個關鍵問題：智能體狂奔之時，安全合規是否就緒了？
容錯性與自主性為核心考量指標
作為市場最火熱的概念，今年資本市場及公司動態幾乎都與智能體掛鉤。但不少討論中的智能體定義混亂，以至于一千個人眼中有一千個智能體。
如果僅停留在單一角度分類智能體是非常片面的，為了更全景地認知理解智能體，我們廣泛地調研了從業者，認為可以從“容錯性”“自主性”兩個維度劃定坐標軸，建立智能體的價值生態。
X軸是“容錯性”，我們認為這是智能體未來發展的核心競爭指標。容錯性低，通常意味著出現錯誤后果嚴重，其使用場景需要更準確的信息捕捉、歸納、整合能力，更少的幻覺和錯誤決策，更穩定的執行任務能力，比如醫療；而容錯性高的領域，錯誤后果輕微且可控，人類能方便地介入調整，比如寫作創意。
Y軸是“自主性”，是在不同場景中智能體的行動邊界。自主性衡量的是智能體在沒有直接人類干預的情況下，自主做出決策和執行動作的能力。更高的自主性通常意味著更高的工作效率和處理復雜任務的能力，但同時也顯著放大了錯誤或濫用行為可能造成的后果。
圍繞智能體的容錯性和自主性建立模型，任何智能體都能在坐標空間里找到屬于自己的位置。這是我們衡量智能體的方法論。在這一全景坐標下，討論智能體安全合規問題，能帶給隸屬不同象限的智能體產品更適配的安全風險準則。
隨著智能體的產業生態和應用場景逐漸清晰，擔憂的聲量隨之而來：一邊認為一旦智能體出現安全事故，后果難以控制，急需設置防護欄；另一邊認為，智能體的當務之急是發展技術，對安全的過度討論會阻礙創新。
當下哪一方聲音占主流？不同產業角色是如何考慮這一問題的？行業是否存在一些共識？我們結合訪談和問卷調查，試圖找到一條認知水位線。
問卷開始時，受訪者需要先選擇自己的基礎信息，角色分為四類：智能體研發公司（提供核心模型/產品/平臺），智能體使用公司，智能體合作公司（提供API/插件/基礎設施），以及獨立研究團隊或開發者。
問卷結果顯示，受訪者中研發廠商、使用方、獨立研究團隊或開發者數量平均（33%；28%；23%），服務合作者較少（16%）。大部分受訪者來自技術團隊（67%），小部分來自產品運營團隊（30%）。
風險過于復雜和新穎是當前最大挑戰
67.4%的受訪者一致認為智能體的安全合規問題“非常重要”（5分；滿分為5分），整體平均分為4.48分。從不同角色來看，最在意保障安全合規問題的是智能體使用方。
智能體安全合規是否得到了行業的足夠關注，沒有一個觀點得到超過半數的共同認可。最多的看法是行業有所重視，但整體投入與響應不足（48.8%）；但也有34.9%的受訪者認為行業整體缺乏有效關注，這尤其是研發方中最主流觀點。只有一小部分人（16.3%）認為行業已經高度重視，甚至過度重視了。
在受訪者中達成了一致的是，安全合規并非智能體最需優先解決的問題。當務之急的TOP 3 問題分別是：智能體執行任務穩定性和完成質量（67.4%）、落地場景探索和產品化（60.5%)、基礎模型能力增強（51.2%）。
在這三個問題上，不同角色眼中的優先級不同。研發者和使用者認為最需要解決的問題是“智能體執行任務穩定性和完成質量”，而服務方和獨立研究團隊更需要“落地場景探索和產品化”。
大部分人認為，智能體風險過于復雜和新穎（62.8%）是當前智能體治理的最大挑戰。而不到一半的人認為智能體風險還未顯化、優先級不高是一個挑戰（48.8%）。
已出現過的案例能側面說明這一點。通過訪談了解到，行業現在還沒有出現過真實發生的、大范圍的安全合規事故。而在一些小型的安全合規事件上，公司出于業務考慮，未必愿意公開討論。
幻覺和數據泄露是最受關注的問題
AI幻覺與錯誤決策（72%)、數據泄露(72%)、有害內容輸出(53.5%) 是行業最普遍關心的三個安全合規問題。
更專業的越獄攻擊、身份與權限控制、工具安全和競爭秩序問題，相對獲得較少關注。值得一提的是，沒有受訪者一個安全合規問題都沒關注過。
如果出現了安全合規事件，行業最擔心的后果是用戶數據泄露（81.4%）以及非授權操作帶來業務損失（53.49%）。也有一部分人擔心被監管調查或處罰（44.19%）。
不同產業角色擔心的后果完全不同，幾乎所有智能體使用方和服務方都擔心用戶數據泄露，占比可以達到90%左右，較少有人擔心監管調查（40%左右）。而研發方最擔心的便是監管調查（72%），其次才是業務損失或用戶數據泄露（64%）。
這一定程度上也可以說明，在智能體研發方心中，目前在監管面前承擔主要責任的是己方。
一位互聯網公司法務談道，智能體產品或平臺的《服務協議》需要列清有哪些智能體、哪項功能調用哪一大模型、如何收集用戶數據和信息，是否存儲數據及存儲期限等。有些智能體可能涉及調用多個底座大模型和工具，在這種情況下，她認為通常由智能體向用戶兜底，“不然數據最終去向可能就亂了。”
對于AI幻覺問題，眾多研究和報告指出，在醫療、金融等高風險領域，其可能帶來嚴重后果。例如，假設一個醫療診斷智能體對罕見病的誤診率為3%，在千萬級用戶中就可能造成數十萬例誤診。
在實際應用中，許多企業發現智能體尚無法可靠解決幻覺問題。一家安全技術公司負責人在訪談中提到，最初部署智能體測試發現，出現明顯幻覺，無法有效支持工作。
“我們在做AI合規審計產品時，有一個功能：基于提交的合規證據，針對當前的具體審計項抽取證據。但在測試中發現，抽取的證據常常會有不同，有時候多有時候少，很不穩定，也發現AI會編造一些根本沒有提交的證據。”該負責人表示，公司因此最終放棄了智能體方案。
此外，國外的加拿大航空AI客服案常被受訪者提到。這是一起企業因為AI錯誤決策而承擔法律責任的標志性案例：2022年，加拿大航空的AI客服告訴乘客“可在旅程完成后的90天內申請退款，以享受折扣”，實際上該航司并不支持退票和打折。隨后乘客將拒絕賠償的加拿大航空告上法庭，盡管公司拒絕為AI客服擔責，但法院并不認同這一觀點，2024年最終判決公司承擔乘客損失。
智能體協作安全風險高
隨著智能體生態的豐富，多個智能體的互動近在眼前。不同智能體組成一個團隊，認領自己的任務，互補彼此的能力，共同推進項目進展。
可以看到，當前在一些互聯網大廠的產品中，也會強調多智能體協作機制。
智能體的“汽車時代”要來了，可是路上交通規則、紅綠燈的架設還在路上。
“相比傳統的單一智能體，智能體協作框架的涌現使得智能體協作模式逐漸多樣化，也引發了多重安全隱患。”清華大學網絡科學與網絡空間研究院副教授劉卓濤表示。
一名技術負責人解釋稱，現有的智能體互連協議在安全性設計上，沿用了傳統客戶端—服務器模式的安全實踐。安全實現上仍存在身份認證與權益管理、隱私與上下文保護不足、缺乏統一的安全實現等安全局限性。“智能體之間協作的獨特特征，要求我們必須提供專有的安全保障機制。這個方向幾乎是空白的。”
公開信息顯示，業內正在推進智能體協作的安全方案。“IIFAA智能體可信互連工作組”推出了智能體可信互連技術ASL（Agent Security Link），該技術可以在MCP等協議的基礎之上，保障各個智能體協作中在權限、數據、隱私等方面的安全，為智能體互連提供安全、可信的協作保障。
用戶數據誰能見、誰在用？
智能體的協同工作涉及多個環節，每一個環節都可能觸發用戶數據的收集、存儲、調用、跨主體交換。問卷調研顯示，近八成的業內人士擔心用戶數據泄露的后果。
以一個典型的使用場景——“讓AI幫我寫簡歷”為例，僅在前端展示中，多個平臺的智能體就展現出了信息透明度與隱私保護機制的明顯差異。
首先是調用過程的透明度。例如，在訊飛星辰平臺上，用戶利用“智能簡歷生成”應用輸入自己信息后，該智能體前端界面會顯示調用“聯網搜索”等3款工具。但當點擊“編輯簡歷”按鈕繼續操作時，智能體調用了“職場密碼”服務，該工具卻并未對用戶明示。對工具的調用情況并不總是透明可見，這意味著用戶的敏感數據可能被送往一個不知情的地方。
其次是個人敏感信息的展示與處理透明度。當前主流平臺在應對用戶上傳的姓名、手機號、照片等信息時，采取了三種明顯不同的路徑：
第一檔是如通義平臺（阿里巴巴）上的簡歷制作助手智能體，在生成簡歷前明確提示風險，并主動說明將隱去身份證號、手機號等敏感信息；
第二檔是如星辰（訊飛）、文心（百度）等平臺，雖未主動提示風險，但會在輸出結果中通過“**”替代敏感字段，從技術上進行規避；
第三檔是智譜、元器（騰訊）、扣子（字節跳動）等平臺，其智能體在提示和處理方面均無動作，既不警示用戶，也未遮掩輸出結果中的敏感信息。
這一差異暴露出的是智能體生態中責任分配的模糊與滯后。用戶面對的往往只是一個具象的“對話界面”，但其背后到底有幾個工具、幾個數據存儲節點、幾層算法判斷，用戶看不到，開發方也未明示。
責任誰來擔？
盡管智能體中數據流轉路徑復雜，可能存在盲區，但在用戶協議中，責任劃分的基本框架已經成形。
對通義、星辰、文心、智譜、元器、扣子6個智能體平臺的用戶協議與隱私政策進行比對發現：用戶與智能體交互所產生的數據，普遍被歸類為“開發者數據”，其處理責任也被明確落在開發者身上。
以“扣子”平臺為例，其服務協議中指出：“開發者數據”不僅包括開發者主動上傳的數據庫信息、插件/API等，還包括用戶與智能體交互過程中，經由扣子處理的所有內容，如文本、音頻、圖像等。這些數據由開發者“自主控制和管理”，平臺明確不對其內容或使用方式承擔責任。
一定程度上，智能體平臺通過協議構建了一道“責任防火墻”：自己作為技術提供者保持中立，數據風險和合規義務轉交給智能體開發者。百度在相關協議中進一步寫明：“平臺無法控制、編輯您的智能體，也不應被視為是您智能體的共同運營/開發者或內容提供者。”
在數據使用方面，平臺普遍也劃出了邊界。以百度為例，其協議稱不會主動使用開發者提交的數據訓練自身通用大模型，數據僅用于幫助開發者完成自動化處理。但平臺保留一個前提：“開發者可選擇授權平臺使用數據以優化服務”，這一設計同樣將決策權交回開發者手中。
一名參與過此類服務協議制定的人士談道，在合規設計時，內部業務團隊與法務團隊曾經反復論證，最終認為平臺應該單獨劃一個邏輯空間給開發者，這部分數據歸屬于開發者，如果平臺想用這部分數據，必須要經過開發者授權。
但責任“歸位”不等于“到位”。訪談中不少人指出，目前大部分開發者在安全合規方面能力薄弱，缺乏制度性規范和實踐經驗——很多人甚至沒有意識到自己對用戶數據負有法律責任，更談不上建立標準化的風控流程，不一定能真正承擔起責任。
