深化人工智能安全監(jiān)管研究（學術圓桌）

確保人工智能安全、可靠、可控，有利于人類文明進步，是人工智能發(fā)展必須解決的重要課題。黨的二十屆三中全會《決定》作出“建立人工智能安全監(jiān)管制度”“完善生成式人工智能發(fā)展和管理機制”等重要部署。如何加強人工智能治理，有效防范化解人工智能發(fā)展帶來的各類安全風險，不斷提升人工智能安全監(jiān)管的制度化、法治化水平？本期學術版圍繞這些問題進行探討。

——編 者

提升生成式人工智能三大風險治理能力

劉艷紅

習近平總書記指出：“人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量，將對全球經濟社會發(fā)展和人類文明進步產生深遠影響?！鄙墒饺斯ぶ悄苁侵富谒惴?、模型、規(guī)則生成文本、圖片、聲音、視頻、代碼等內容的技術。在海量數(shù)據與強大算力支撐下，聽得懂、說得出、能互動的生成式人工智能快速迭代升級，呈現(xiàn)出良好互動性、高度通用性、智能生成性等特征，并正與各行各業(yè)形成更加剛性、高頻、泛在、深度的聯(lián)結，也導致其潛在風險更多更真實。黨的二十屆三中全會《決定》科學把握人工智能發(fā)展規(guī)律和特點，提出“建立人工智能安全監(jiān)管制度”“完善生成式人工智能發(fā)展和管理機制”，體現(xiàn)了更好統(tǒng)籌發(fā)展和安全的客觀需要，為推動人工智能領域的技術進步、產業(yè)發(fā)展與安全保障指明前進方向。

生成式人工智能在技術運行上可分為三個階段，即前置性學習訓練及人工標注輔助算法升級的準備階段，輸入數(shù)據進行算法處理得出生成物的運算階段，生成物進入社會加以運用的生成階段。我們要深入分析生成式人工智能的運行機理，把握各階段安全風險形成與發(fā)展的特征，運用法治手段加強系統(tǒng)性治理，確保生成式人工智能所蘊含的巨大力量始終在法治軌道上發(fā)揮作用。

在生成式人工智能的準備階段，數(shù)據安全風險易發(fā)多發(fā)、較為突出。生成式人工智能通過數(shù)據訓練、數(shù)據處理分析來提煉信息、預測趨勢。這就必須對數(shù)據進行適當分類，確立不同類型數(shù)據的利用模式和保護方式，以妥善應對相關數(shù)據安全風險，避免數(shù)據違規(guī)利用或者不當泄露，產生侵權方面的糾紛。比如，在政務處理流程中形成的政務數(shù)據是數(shù)字政府的核心要素。生成式人工智能為了得出相對準確的結論，不可避免地要收集分析政務數(shù)據。應當明確生成式人工智能獲取和利用政務數(shù)據的法律規(guī)則，既滿足利用政務數(shù)據服務社會的需求，有力支持人工智能政務服務大模型開發(fā)、訓練和應用，提高公共服務和社會治理智能化水平；又規(guī)范其加工方式，避免利用政務數(shù)據得出的成果侵害個人權益、破壞社會公共秩序。對于個人數(shù)據而言，生成式人工智能通過組合分析挖掘其潛在價值，其對個人數(shù)據的收集利用及其成果可能對公民權利造成侵害。實踐中，生成式人工智能傾向于過度收集個人數(shù)據以提升結論準確性，比如，通過分析醫(yī)療健康數(shù)據來挖掘個人行蹤、預測個人生活軌跡。為此，必須堅持依法收集，按照技術所需的最小范圍收集個人數(shù)據，設置合理的數(shù)據處理深度，避免過度挖掘潛在信息。綜上，應將分類分級的數(shù)據安全監(jiān)管要求嵌入生成式人工智能的準備階段，避免數(shù)據安全風險演化為具體的法益損害后果。

在生成式人工智能的運算階段，內生于人工智能大模型的算法偏見風險值得警惕。生成式人工智能對于數(shù)據的分析和處理主要通過算法模型。不同于傳統(tǒng)算法模型，生成式人工智能在進行機器學習的同時，還會以大量的人工標注來校正機器學習的結論，推動人工智能進化。但“機器學習+人工標注”作為算法技術內核，也會使人類的意志與偏好所產生的影響比單純的機器學習更大。個人偏好的影響疊加在算法模型本身的偏見之上，將導致算法偏見的負面效應倍增，算法偏見的產生更加難以追溯和預防。防范化解算法偏見風險，應根據算法偏見的產生原理與產生場域進行針對性治理。要將法律規(guī)范的要求深度嵌入生成式人工智能的算法模型之中，推動技術向善，消除算法偏見，確保合理利用生成式人工智能算法并分配算力資源?；诩脊芙Y合理念，加強對算法的全周期安全監(jiān)管，將法律規(guī)范的要求落實到生成式人工智能運行的全流程之中。在設置算法之初就要遵循相關法律規(guī)則與技術標準，落實“機器學習+人工標注”的規(guī)范要求，審查存在風險的算法模塊，更好發(fā)現(xiàn)生成式人工智能算法模型中的技術風險；當發(fā)現(xiàn)先天性算法偏見時，依據法律要求從生成式人工智能的算法內部進行糾正，確保修改后的算法能正常運行；事后出現(xiàn)問題時，對人工智能算法進行溯源治理，實現(xiàn)精準歸責并加以糾正，推動完善生成式人工智能的算法監(jiān)管標準，填補事前預防審查的不足，以技術手段與法律手段并行做到發(fā)展與管理并重。

在生成式人工智能的生成階段，存在著與生成物相關的知識產權風險、生成物濫用風險等多種風險。由于生成式人工智能的智能化程度很高，可以實現(xiàn)內容自動化編纂、智能化潤色加工、多模態(tài)轉換以及創(chuàng)造性生成，直接改變了內容的生產方式與供給模式，相較于以往的人工智能系統(tǒng)產生了顛覆性變化，由此引發(fā)了生成式人工智能的生成物知識產權歸屬、知識產權保護等問題。有的人認為生成式人工智能生成物是數(shù)據算法的結論，其本質上是計算與模仿，而非智力勞動，無法成為知識產權的客體。反對者則認為生成式人工智能模擬人腦神經網絡的構造來獲取與輸出數(shù)據，通過卷積神經網絡控制自身的設計與制造，其具有獨創(chuàng)性與創(chuàng)新性的生成物應當受知識產權法保護。同時，生成式人工智能還增加了知識產權糾紛風險和保護難度，一些生成物可能含有侵犯他人知識產權的內容，或者經過加工等手段被包裝成個人擁有完全知識產權的原創(chuàng)作品，引發(fā)相關知識產權爭議。為及時化解相關問題，應對生成式人工智能的技術模式、技術原理按照知識產權法的標準開展實質分析，如果技術上需要人類意志介入，使生成物能夠產生獨創(chuàng)性與創(chuàng)新性，應賦予知識產權并明確其歸屬，強化生成式人工智能領域知識產權的系統(tǒng)性保護；同時要合理確定對生成物知識產權保護的范圍，避免保護范圍無限擴張，妨礙生成式人工智能的推廣運用和技術發(fā)展。還要加強對生成物濫用風險的治理。比如，要求作品清楚標識生成式人工智能在作者創(chuàng)作中發(fā)揮作用的情況，加強對可能涉及違法犯罪的深度偽造、AI換臉等生成物的精準化、常態(tài)化監(jiān)管，等等。

生成式人工智能在社會應用中產生的擴散影響還有很多，除了上述風險還有很多其他類型的風險，比如加劇信息不對稱、擴大數(shù)字鴻溝、損害數(shù)字弱勢群體的利益等。要根據實際情況作出應對，盡量降低新技術給社會發(fā)展帶來的不良沖擊。

（作者為中國政法大學刑事司法學院教授）

守護好人工智能時代的隱私安全

顧理平

習近平總書記強調：“堅持以人為本、智能向善”。當前，人工智能技術日新月異，既深刻影響改變著人們的生產生活方式、加速了經濟社會發(fā)展進程，也對法律規(guī)范、道德倫理、公共治理等造成沖擊。其中，對隱私權、個人信息安全等的威脅是值得關注的重要問題。黨的二十屆三中全會《決定》對“建立人工智能安全監(jiān)管制度”作出重要部署，保護隱私權和個人信息安全是人工智能安全監(jiān)管的題中應有之義。必須加強人工智能時代的隱私權保護，確保個人信息安全。

人工智能時代隱私權面臨嚴峻挑戰(zhàn)。隱私是自然人的私人生活安寧和不愿為他人知曉的私密空間、私密活動、私密信息。民法典規(guī)定：“自然人享有隱私權。任何組織或者個人不得以刺探、侵擾、泄露、公開等方式侵害他人的隱私權?！彪[私權作為人格權的核心要素，是構筑人格尊嚴的重要基礎。不被公開、不被知曉是隱私權的核心訴求。當前，人工智能以悄無聲息的方式介入人們生產生活的各領域各方面各環(huán)節(jié)，產生智能醫(yī)療、智能交通、智能推薦等眾多應用場景，技術本身存在的某些缺陷和規(guī)則的不完善，不可避免帶來侵害隱私權的問題。比如，非法收集和使用個人信息，利用分析這些個人信息頻繁推送所謂“個性化”的“精準廣告”，泄露個人信息給第三方，導致私人生活頻頻受到垃圾信息侵擾；利用個人信息進行“大數(shù)據殺熟”，實現(xiàn)“一客一價”的精準價格歧視，令公民遭受財產損失；已脫敏個人信息被重新識別，因保護措施不當導致數(shù)據泄露，非法買賣個人信息現(xiàn)象屢見不鮮，侵害個人信息安全；借助個人信息進行深度偽造，通過聲音仿真、AI換臉等手段，實施詐騙等違法犯罪行為；等等。這說明，侵害隱私權不僅侵犯了公民的人格尊嚴，也會造成其他嚴重社會后果。

去私密化技術特征加劇個人信息安全風險。以大數(shù)據為基礎的人工智能在應用之初，許多人是抱著觀望、懷疑的心態(tài)看待這種新技術的。隨著人工智能以擬人化的外在形式、個性化的服務提供、沉浸式的互動過程不斷改善使用者的產品體驗和心理感受，越來越多的人逐漸成為人工智能的忠實用戶，享受著人工智能給自己帶來的各種便捷。隨著人機互動、萬物互聯(lián)的物聯(lián)網技術普及，智能家居、智能辦公、智能工廠、智能駕駛等人工智能應用場景也不斷拓展，個人能夠以數(shù)字人的存在形式在數(shù)字空間提出需求、獲得服務，也在不知不覺中向人工智能源源不斷地輸送著個人信息。個人在數(shù)字空間留下的任何痕跡都被數(shù)字化，形成個人信息，并作為人們“聯(lián)系世界的介質”發(fā)揮著重要功能。與此同時，人工智能為了改善服務質量，也傾向于過度收集使用個人信息。這都使得人工智能具有鮮明的去私密化技術特征。也正是在那些人工智能使用者習以為常的個人信息流動中，混合著公共數(shù)據和私人數(shù)據的大數(shù)據被挖掘、整合、分析、利用，人們難以憑自己的感官察覺到隱私權被侵害，個人信息安全面臨著更高的風險。

尊重個體選擇，堅持知情同意。不同的人對個人信息被知悉、被利用的接受程度不同，應尊重個人意愿，科學合理地執(zhí)行“知情同意”原則。知情同意原則包括知情和同意兩方面，同意必須以知情為前提，沒有充分的知情和理解，就不可能有真正意義上的同意。信息、理解和自愿，是知情同意原則的三要素。在全面“知情”的基礎上，個人可以自主作出怎樣“同意”的意思表示。這就需要在用戶使用人工智能時，作出通俗易懂而又清晰明了的提示說明，征得用戶對個人信息收集使用的同意。如果個人信息會在不同平臺之間流動，需要將流動范圍、目標、使用邊界讓用戶知曉。為了良好和流暢的用戶體驗，也可以給用戶提供一次性或分階段進行授權的選擇。要告知用戶收集個人信息的范圍、方式和用途以及與誰共享個人信息，用戶也應當可以選擇隨時退出。在進行個人信息分析時，應以彈窗或其他形式提示用戶注意并實時授權。設置數(shù)據生命周期、按時刪除個人信息也是保護個人信息安全的有效方式。

完善技術手段，確保智能向善。技術導致的問題，要善于從技術層面確立解決問題的思路。人工智能時代隱私權面臨挑戰(zhàn)，其直接的觸發(fā)因素是技術的演進。從分析式人工智能到生成式人工智能，人工智能技術每一次迭代升級，都可能對隱私權帶來新的沖擊。因此，技術解決方案必須置于關鍵位置，應通過完善數(shù)據庫安全、核心數(shù)據加密、個人數(shù)據脫敏等技術，建立保護隱私權和個人信息安全的防火墻。個人信息一般會經過收集、存儲和使用三個階段，而這三個階段都可能存在侵害隱私權和個人信息安全的風險。應根據不同階段個人信息所處的不同狀況，從技術上進行有效保護。在個人信息收集階段，加強匿名化技術推廣運用。收集個人信息雖然不可避免，但只要匿名化，不把個人信息與身份對應，隱私權就不會受到侵害。個人信息存儲階段，要完善加密技術。當前，數(shù)據存儲主要有數(shù)據庫存儲和云存儲兩種方式。外部入侵竊取和內部人員未經授權的查看、使用、泄露是存儲階段個人信息安全的主要威脅。要強化數(shù)據加密，同時嚴格數(shù)據訪問權限控制。個人信息使用階段，要從技術上加強對個人信息違法使用的實時介入、干擾、阻斷，為隱私權和個人信息安全多添一層保護。

隨著我國法律規(guī)則日益完善、保護力度持續(xù)加強，特別是民法典、個人信息保護法對隱私權和個人信息保護作出詳細規(guī)定，明確了個人信息處理活動中權利和義務的邊界，人工智能時代我國對隱私權和個人信息安全的法律保護必將邁上更高水平，為人工智能健康發(fā)展、更好造福人民群眾提供堅強法律保障。

（作者為南京師范大學新聞與傳播學院教授）

探索人工智能體的模塊化治理框架

張 欣

科技興則民族興，科技強則國家強。黨的十八大以來，我國高度重視人工智能發(fā)展，積極推動互聯(lián)網、大數(shù)據、人工智能和實體經濟深度融合，培育壯大智能產業(yè)，加快發(fā)展新質生產力，為高質量發(fā)展提供新動能。習近平總書記指出：“要堅持促進發(fā)展和依法管理相統(tǒng)一，既大力培育人工智能、物聯(lián)網、下一代通信網絡等新技術新應用，又積極利用法律法規(guī)和標準規(guī)范引導新技術應用。”習近平總書記的重要論述為我國人工智能發(fā)展提供了根本遵循和行動指南。大力發(fā)展人工智能，提高人工智能安全治理水平，要把黨的二十屆三中全會《決定》提出的“建立人工智能安全監(jiān)管制度”重要部署不折不扣貫徹落實好，準確把握人工智能發(fā)展動向，重點關注人工智能前沿技術及其帶來的風險挑戰(zhàn)，加強前瞻性思考，不斷探索人工智能治理的創(chuàng)新方案。

當前，生成式人工智能開創(chuàng)了人機交互新范式，憑借其強大的交互、理解和生成能力，為發(fā)展以大型自然語言模型為核心組件，集記憶、規(guī)劃和工具使用于一體，具備感知和行動能力的人工智能體開辟了廣闊前景。人工智能體已成為通用人工智能最重要的前沿研究方向和科技企業(yè)競相布局的新賽道。它以大型自然語言模型為“智慧引擎”，具有自主性、適應性和交互性特征，可顯著提高生產效率，增強用戶體驗，提供超越人類能力的決策支持，已能夠應用于軟件開發(fā)、科學研究等多種真實場景。盡管大規(guī)模商業(yè)化落地仍在初步探索和孵化階段，但人工智能體所代表的虛實融合、人機深度互動等趨勢對經濟社會發(fā)展具有重要引領意義。然而，由于技術局限，人工智能體也可能引發(fā)復雜的、動態(tài)的、不可預見的風險與隱憂。

從設計邏輯看，人工智能體需要通過控制端獲得認知能力，通過感知端從周圍環(huán)境獲取和利用信息，最終在行動端成為基于物理實體進行感知和行動的智能系統(tǒng)。

在控制端，大型自然語言模型作為人工智能體的“大腦”，通過學習海量數(shù)據形成知識，構成人工智能體控制系統(tǒng)中的記憶模塊，但其在生成內容的可靠性和準確性方面存在風險。比如，模型生成的內容可能不遵循信息源或者與現(xiàn)實世界的真實情況不符，產生所謂“機器幻覺”；由于訓練數(shù)據中的人類偏見，影響人工智能體的公平決策；等等。

在感知端，為充分理解具體情境下的顯性信息和隱性信息，準確感知人類意圖，人工智能體將感知范圍從純文本拓展到包括文本、視覺和聽覺模式在內的多模態(tài)領域。這雖然提升了決策能力，卻在融合和分析不同渠道和類型的多源數(shù)據時可能引發(fā)一系列隱私泄露和數(shù)據安全風險。比如，不當使用和分享人臉信息、指紋、聲紋等高度個性化、具有永久性的生物特征數(shù)據，導致長期甚至永久性的隱私風險。為更好地處理復雜任務，部署多個人工智能體進行規(guī)劃、合作甚至競爭，以完成和提高任務績效的多智能體系統(tǒng)將成為主流和常態(tài)。多個人工智能體的系統(tǒng)交互就可能引發(fā)不可預見的系統(tǒng)性安全風險。即使每個算法在單獨操作時看似安全和合理，但組合和交互之后仍可能產生完全不同且難以預測的風險，并迅速演化升級。比如，在股票市場中，如果人工智能被廣泛應用，多個算法自動識別股票價格微小變化，同時大量執(zhí)行高頻交易進行套利，就可能引發(fā)股票市場閃崩的系統(tǒng)性安全事件。

在行動端，部署于真實物理環(huán)境的人工智能體將可能以更為立體、擬人的形象呈現(xiàn)。與虛擬空間不同，現(xiàn)實空間依賴交互式學習方法，人工智能體需要豐富的、全方位的信息感知來觀察、學習和行動，通過基于反饋的學習優(yōu)化能力，這可能對個人隱私構成全面性、侵入性和隱蔽性的風險。比如，解讀用戶的肢體語言并感知更加復雜的用戶活動，未經用戶授權持續(xù)隱秘地收集數(shù)據，一旦系統(tǒng)存在安全漏洞，可能引發(fā)巨大的數(shù)據安全風險。此外，隨著人工智能體自主性不斷提升，不僅可能干預和影響人類的認知和情緒，也挑戰(zhàn)著人類作為獨立決策者和獨立行動者的能力與地位。比如，一些聊天機器人在與用戶的交互過程中就出現(xiàn)了影響用戶情感的輸出，有時是負面并且具有操縱性的。

面對人工智能體帶來的風險和挑戰(zhàn)，要讓人工智能體的行為符合人類的意圖和價值觀，需要探索創(chuàng)新性的治理方案，保證人工智能安全監(jiān)管制度切實管用。人工智能體的發(fā)展正處于“從零到一”的關鍵期。治理方案應具備以不變應萬變的能力，確保該技術的發(fā)展與應用始終處于可控的軌道上。人工智能體的開發(fā)、訓練、部署、運行和服務等環(huán)節(jié)經過高度專業(yè)化的分工，形成了復雜的分層結構。每一層均有不同的參與者、利益相關方和潛在風險因素，使人工智能體具有“模塊”化的產業(yè)鏈特質。因此，可以構建一種能夠覆蓋整個產業(yè)鏈和各個端層的模塊化治理框架，從數(shù)據模塊、算法模塊、模型架構等關鍵節(jié)點出發(fā)，設計相應的治理模塊。例如在部署環(huán)節(jié)，就可根據應用場景和部署模式的特性，靈活選擇、協(xié)同組合不同的治理模塊，構建與之相匹配的治理方案。模塊化治理框架提供了一種具有可操作性的分解方法，通過將治理目標拆解為相對獨立但關聯(lián)耦合的治理模塊，漸序推動治理體系形成，不僅提高了治理的靈活性和針對性，還能夠適應技術的快速迭代。在構建基于數(shù)據、算法、模型和場景等維度的治理模塊時，應以技術賦能監(jiān)管，打造與人工智能體模塊化治理框架相適配的、智慧化的治理工具，從而彌合風險動態(tài)性與監(jiān)管靜態(tài)性之間的張力，實現(xiàn)對特定高風險場景的精準化治理。

要構建面向人工智能體的交互式治理生態(tài)。人工智能體具有深度交互性、高度互聯(lián)性以及動態(tài)適應性。相應地，治理方式應當超越傳統(tǒng)的以個體為中心的治理，推動形成廣泛互聯(lián)、多方參與、多層次協(xié)作的治理生態(tài)。其中，技術開發(fā)人員、運營維護人員等技術社群對于人工智能體的治理將起到至關重要的“吹哨人”作用。應更好發(fā)揮技術社群的監(jiān)督優(yōu)勢，在人工智能企業(yè)內部構建有效的約束機制。還應積極提高廣大用戶的數(shù)字素養(yǎng)，增強其依法、安全、負責任使用人工智能體的意識，實現(xiàn)與人工智能體的良性交互，推動形成向上向善的運行狀態(tài)。

（作者為對外經濟貿易大學法學院教授）

《 人民日報 》（ 2024年11月04日 09 版）