今年是吳世忠擔任全國政協委員的第6年。他是網絡與信息安全領域的專家。履職政協委員之初，吳世忠給自己提了一個要求，“把復雜的信息安全問題說得更準確些”。多年后再談及此，已是新當選的中國工程院院士吳世忠坦言：“這幾年的努力還遠遠不夠”。

一個現實挑戰是，隨著技術的迅猛發展和網絡空間的不斷演進，信息安全問題變得越來越復雜。以人工智能為例，一年多前，聊天機器人ChatGPT橫空出世，迅速在全球掀起一場AI風暴。今年開春，文生視頻模型Sora重磅來襲，用一段足夠以假亂真的AI生成動畫，再次給行業帶來了顛覆性的沖擊。

與此同時，技術發展軌跡的不可掌控性和潛在風險的不確定性，也讓全球警惕AI風險的呼聲比以往更強烈。“不能有效管控風險，發展就難以持續；沒有足夠的安全保障，后果將不堪設想。”近期在一篇探討2024年網絡與信息安全風險前瞻的署名文章中，吳世忠敏銳地指出，2024 年人工智能安全治理會成為大國角力的主要方向，人工智能熱門應用領域或將出現“灰犀牛”安全事件，潛在風險不容忽視。

今年全國兩會，吳世忠將圍繞人工智能安全和數據安全治理問題建言發聲。為準備提案，吳世忠先后赴北京、上海、深圳等地調研了解國內AI技術與產業發展情況，還持續跟蹤國際科技前沿和網絡空間治理戰略和政策，并積極與相關專家和學者們交流研討，“力求將問題研究透徹，確保提案能說準、說對”。

近日，圍繞委員履職、大模型安全、AI換臉等信息安全領域的熱點話題，全國政協委員、中國工程院院士吳世忠接受了記者專訪。

呼吁加強AI倫理研究、辯證看待發展與安全關系

談履職

您是連任兩屆的全國政協委員，哪些問題是您尤其關注并持續推動的？

吳世忠：我長期關注的是新技術的發展、安全與治理問題，這是信息化時代各國面臨的共性問題。在兩屆政協的履職中，我分別就加強網絡與安全信息安全保障，科學利用三年疫情產生的大數據，加強信息共享和聯防聯控有效打擊網絡詐騙，在國際競爭環境下加強人工智能標準和倫理研究等建言發聲，持續推動相關部門在科技發展和信息化的建設中更好地處理發展與安全的辯證關系，應該說起到了一定建言資政作用。今后，我還會一直關注并持續推動與此相關的問題，以更好地盡到一位政協委員的職責。

2018年全國兩會期間，您在接受專訪時提到，希望“把復雜的信息安全問題說得更準確些”。這個履職要求，做到了嗎？

吳世忠：這個問題提得既直接又尖銳，真不太好回答。隨著信息通信技術的迅猛發展和網絡空間的不斷演進，信息安全問題變得越來越復雜。從個人隱私到商業利益，從社會問題到國家安全，從軍事沖突到國際關系，從社會輿情到全球治理，信息安全問題幾乎無處不在，而且千事千面、見仁見智，再結合不同場景、對象和上下文，相關信息安全問題的內涵和外延也相去甚遠，因此要說清楚、講準確，也越來越難。從這個意義上講，我這幾年的努力還遠遠不夠。

如何應對日益復雜的信息安全難題？您長期從事網絡與信息安全領域的技術研究工作，有何經驗和心得分享？

吳世忠：首先，我認為發展是重要的安全考慮。信息安全問題與技術發展相伴而行，沒有發展之需，也就難有安全之慮。我國幾十年來網信事業的蓬勃發展，以及近年來中美競合的科技角力，也生動具體地說明了一點——那就是不發展是最大的不安全。

其次，韌性是關鍵的安全能力。現在我們已經走過信息化的孩提時代，安全保障體系已經從保姆式的全面看護發展到自主式的自然應對。我們不再為一個技術漏洞而產生像“千年蟲”那樣的安全焦慮，也不會因一兩次常規攻擊導致大規模斷網災難。隨著網絡空間法規、管理、技術手段和倫理等不斷增強，信息安全的整體生態在日益豐富，韌性或彈性日益成為網絡信息安全保障體系的關鍵要素。

第三點，成本和效益是務實的安全指標。要準確地認識信息安全問題，需要做到對安全風險既不高估，也不低估。近年來，我國在網絡信息安全上的投入逐年增加，在管控、應對網絡信息安全風險上更加務實。這種風險管理思想和成本效益考慮，是我們應對網絡信息安全問題的主流方向。我認為，加強成本與效益分析，采取激勵機制與政策，增強風險管理的意識，并且將最佳實踐、攻防演練、外部性因素等納入網絡安全治理的策略考慮中，應當是我們在提升信息安全治理能力的重大進步。

要防止大模型淪為作惡工具

談AI安全焦慮

自ChatGPT問世的一年多以來，眾多大模型相繼推出，并在多個行業落地應用。大模型落地應用主要面臨哪些安全風險？

吳世忠：幾個月前，圖靈獎得主杰弗里·辛頓從谷歌辭職，OpenAI公司出現“宮斗”，眾多有識之士公開表示安全擔憂，國際社會密集研討AI治理……ChatGPT問世一年就引發如此大的安全焦慮，這在科技發展史上是空前的。

對人工智能的快速發展，人們既有近憂也有遠慮。就近憂看，大模型落地應用主要面臨這些安全風險，包括生成不當內容、產生隱私問題、產生歧義或偏見、引發技術攻擊、難免知識滯后等。

以技術攻擊為例，一些惡意用戶可能通過技術手段對大模型進行網絡攻擊。比如污染訓練數據（數據投毒），輸入精心設計的樣本，使大模型產生錯誤的輸出等，破壞大模型的可靠性。

在知識層面上，因為大語言模型的訓練是對已有知識的學習，對截止時間之后的新知識、新發展還不具備與時俱進的推導能力，這可能導致對新情況的了解不足，對新問題表現出力不從心。

還有報道顯示，惡意大語言模型已成為暗網最暢銷的黑客工具，被一些網絡犯罪分子濫用進行大規模攻擊。怎么看待這類現象？

吳世忠：對此類情況，我還真不太了解。不過單從技術上分析，網絡犯罪與惡意使用或濫用大模型的可能性是客觀存在的。人工智能可以看成是信息化進程的新階段，傳統的網絡安全攻擊方法大多數都會在AI中實現。

就大語言模型而言，攻擊方式就可能有：數據投毒、提示注入、誤導輸出、模型阻塞等新興方法，還可能有供應鏈漏洞，不安全組件，逆向分析，后門攻擊等常規方式。

人是安全問題中最為復雜的因素，如何防止大模型淪為犯罪分子的作惡工具，是AI安全的重大課題。

從已有的研究看，人們對AI的安全遠慮是什么？

吳世忠：一是技術發展失速。回望歷史我們知道，AI走過了近60年的孩提時期，直到互聯網興起，大數據出現和神經網絡、機器學習的突破才步入目前的弱AI時期。雖尚值年少，但聰慧驚人，大有向通用AI邁進之勢。國際社會相繼發出“暫停訓練”加強約束之呼吁，表達的就是對AI技術發展太快、監管力所不及的深度憂慮。

二是軍備競賽失控。AI技術備受軍事青睞，從認知戰到情報戰，從無人機到衛星網，AI技術已經打開智能時代新軍備競賽的“潘多拉盒子”，大國角力日趨激烈，軍控談判需求緊迫，AI向善或是向惡成為國際治理重大議題。

三是倫理道德失范。AI成長期短，還是懵懂少年，不像人類有數千年的歷史積淀，倫理規范和道德約束的缺乏是AI帶給人類的普遍擔憂。技術邏輯與人文素養相差很遠，AI倫理目前仍處密集交流和商討階段，要在技術上實現、應用上落實，還有很長的路要走。

此外，AI技術和應用都高度依賴大數據，無論是AI使用大數據訓練，還是利用AI分析大數據都難以避免地產生數據泄露和信息保密問題。同時，AI應用可能對社會生活造成深遠的影響，包括就業市場、新聞宣傳、政治決策等，因此有必要負責任地使用和監督AI技術。

在人工智能技術發展高歌猛進的當下，這些安全憂慮更多的是潛在隱患。相對于近十年來人工智能技術的蓬勃發展，安全方面的研究略顯滯后——這也符合科技發展的既有規律，創新發展在前，安全治理在后。

所以我們一定要全面、辯證地看待AI的安全問題。有人曾就AI與人類關系問題提問過ChatGPT，它的回答是“AI不會讓人類變得多余，只會使人類變得更有價值”。我想這對我們從發展的觀點理解和認識安全問題，應該有借鑒意義。

透明度、公平正義是全球AI治理高頻詞

談AI治理

從AI冒充拜登給選民打電話，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2億的AI“多人換臉”詐騙……近期AI造假事件屢次出現，引發了諸多擔憂。從技術的角度分析，AI換臉或擬聲詐騙技術含量高嗎？

吳世忠：從技術上看，AI換臉、擬聲詐騙這類騙術的水平還是較高的，主要是因為它可能惡意使用了多種新興人工智能技術。

一是大數據技術，大規模的高質量數據集是這些騙術成功的關鍵，數據越多，越真實，模型學到的特征和細節就越豐富，生成的結果就越生動、逼真。

二是深度學習和生成模型技術，這可以讓生成的換臉和擬聲內容更加逼真和自然。

三是遷移學習技術，它允許模型將一個領域學到的知識遷移到另一個領域，這也有助于提高換臉和擬聲模型的性能，使其運用更多的場景和人物，更具欺騙性。

最后，AI造假還可能涉及語言和圖像處理技術，借此可以對包括面部表情、語言音調、發音特征，特別是方言等多方面進行細微處理，生成更加真實的效果，達到以假亂真的目的。

以前我們說“無圖無真相”，但現在借助AI技術，甚至能生成以假亂真的視頻，讓“眼見不再為實”。如何應對AI深度造假問題？

吳世忠：我建議從技術、法規和倫理約束以及安全意識培養等方面，采取綜合防范措施。其中尤為重要的是技術——人工智能技術十年來發展迅猛，但相應的安全技術研發相對滯后，在風險隱患日益凸顯的今天，發展安全技術手段是當務之急。

為防范AI深度造假，可采取的技術手段包括使用圖像和音頻分析工具，檢測深度造假，識別圖像或者音頻的偽造痕跡，也可在數字內容中嵌入水印或隱寫記號，以便追溯圖像或音頻來源并作真實性比對，還可運用區塊鏈技術等確保信息的不可篡改和透明性，從而提高圖像或音頻的可信度等。

法規、倫理方面，則可制定相關法律法規和監管措施，對違規或惡意使用AI造假的行為進行處罰和打擊。要求AI開發者提高模型的透明度和可解釋性，確保用戶能夠理解模型的決策過程，減少潛在的濫用風險。同時，制定和倡導AI倫理規范，引導AI技術的開發應用，明確禁止濫用和偽造信息等。

具體到安全意識的培養，建議加強民眾對AI造假可能性的認知，提高對虛假信息的辨別能力，促進官產學研多方合作，加強持續監測研究，適應不斷進步的技術和不斷演進的威脅，共同應對AI深度造假的挑戰。

當前主要國家均在探索人工智能治理方案，中國也將制定“人工智能法”列入國務院的立法計劃。您認為，構筑人工智能安全護欄的應有之義是什么？

吳世忠：世界主要國家確實都在積極探索AI治理方案。截至去年底，至少已有60多個國家制定或發布了與AI有關的政策文件，我國也先后提出了多項與AI相關的國家政策和倡議。

我們對全球活躍的50項AI倡議作了初步分析，發現前十個高頻詞匯是，“透明度、公平正義、非惡意、責任與問責、隱私、向善、信任、尊嚴、團結和可持續”，這一定意義上反映出了人類對AI治理目標的共識。

我認為在構筑AI護欄時，同樣要反映這些共同訴求——從專業的角度講，其應有之義和重點可能包括：保護個人隱私和信息保密、維護社會秩序和公平正義、有利文化傳承和道德倫理、維護國家主權和安全利益。

網絡與信息安全是業務創新發展的重要支撐

談新質生產力

去年12月舉行的中央經濟工作會議提出，加快發展新質生產力。結合你的專業背景，如何理解“新質生產力”？

吳世忠：新質生產力是創新起主導作用，擺脫傳統經濟增長方式、生產力發展路徑，具有高科技、高效能、高質量特征，符合新發展理念的先進優質生產力。  

就網絡信息安全領域而言，數字化轉型、創新驅動和智能化生產是其最主要的三大特點。顯而易見，這三大特點都與網絡與信息安全息息相關且緊密相連，所以我理解新質生產力，應該是高質量發展和高水平安全高度融合的新型生產力。

面對全新的生產力變革，網絡與信息安全行業可以發揮怎樣的作用？

吳世忠：在全新的新質生產力變革中，我認為網絡與信息安全理應發揮至關重要的作用，主要體現為以下四點：

一是為數據和隱私提供安全保護。隨著生產過程數字化和設備互聯，大量敏感信息通過網絡傳輸，網絡與信息安全確保數據在傳輸、存儲和處理應用過程中，得到充分保護。

二是為智能生產提供安全保障。在新質生產力變革中，智能制造得到廣泛應用，網絡與信息安全在工業互聯網、工業云領域發揮重要作用。能防范網絡攻擊，確保重要設備的安全運行。

三是為業務創新提供安全保證。新質生產力的大量創新必依賴網絡業務和網絡應用。網絡與信息安全措施有助于防范網絡攻擊、惡意軟件和其他威脅，從而確保企業的業務持續性，為業務創新提供穩定的環境和條件。

四是為人工智能提供安全服務。新質生產力變革涉及到人工智能和大數據的廣泛應用。網絡與信息安全在防范惡意使用人工智能，防止算法攻擊，確保數據安全等方面扮演著重要角色。

可以說，在新質生產力變革中，網絡與信息安全不僅僅是一項技術，它更是保障整體業務創新發展的重要支撐。

（來源：南方都市報，記者李玲）