首頁 > 關(guān)于我們 > 安恒動態(tài) > 2024 > 正文

西湖論劍演講實錄 | 吳世忠院士：迎接人工智能的安全挑戰(zhàn)

閱讀量：次 文章來源：安恒信息

編者按?●●

2024年5月18日，以“智繪安全乘數(shù)而上”為主題的2024年第十二屆西湖論劍·數(shù)字安全大會在杭州國際博覽中心成功舉行。中國工程院院士吳世忠在《迎接人工智能的安全挑戰(zhàn)》的主題演講中提出，在人工智能時代，安全問題呈現(xiàn)出前所未有的復(fù)雜性。它不僅涵蓋傳統(tǒng)的Security，即信息安全，還包含Safety，即系統(tǒng)運行的穩(wěn)定性和可靠性，以及倫理安全，即技術(shù)應(yīng)用必須符合道德倫理標(biāo)準(zhǔn)。這三者交織融合，形成了全新的安全圖景。這是與傳統(tǒng)安全問題的根本區(qū)別，對個人隱私保護、社會穩(wěn)定、國家發(fā)展和國際合作等方面都提出了新的挑戰(zhàn)和要求。因此，構(gòu)建一個安全、堅韌、可信的人工智能發(fā)展生態(tài)，至關(guān)重要。這要求我們必須在推動技術(shù)發(fā)展的同時，充分考慮到安全保障，實現(xiàn)發(fā)展與安全的統(tǒng)籌兼顧。以下為吳世忠院士現(xiàn)場發(fā)言內(nèi)容。

中國工程院院士吳世忠

尊敬的各位領(lǐng)導(dǎo)、專家，新老朋友們，大家上午好！

非常高興，在初夏來到美麗的西子湖畔、錢塘江邊，參加今天的西湖論劍大會，和大家一起探討“智繪安全乘數(shù)而上”。

這是一個新題目，很難講，但又必須講。所以，我想分享三點淺顯的看法，講一些現(xiàn)實的問題。

一

人工智能是新質(zhì)生產(chǎn)力

根據(jù)科技界的主流觀點，人工智能（AI）發(fā)展大致上可以分為三個時代，即機器學(xué)習(xí)的弱人工智能時代，機器智能的強人工智能時代和機器意識的超人工智能時代。經(jīng)過60多年的哺育，今天的AI正處在懵懂可愛的少年時期。深度學(xué)習(xí)大模型的應(yīng)用，造就了ChatGPT的勤學(xué)好答、Sora的文生圖景和GPT-4o的聲情并茂。中國有句老話，叫做“三歲見大，七歲見老”。經(jīng)過60多年的艱難探索，人工智能在十年內(nèi)突飛猛進，在兩年內(nèi)爆發(fā)增長，在近半年內(nèi)更是應(yīng)接不暇。這種成長的加速度，在科技史上絕對空前的。這是否預(yù)示著人工智能發(fā)展到了一個關(guān)鍵期？是否預(yù)示著通用人工智能（AGI）會到來？讓我們拭目以待。

綜觀人工智能的發(fā)展態(tài)勢，我們能夠深切地感受到創(chuàng)新的強大動能，感受到科技對傳統(tǒng)經(jīng)濟增長和生產(chǎn)力發(fā)展的顛性覆影響，感受到技術(shù)進步對生產(chǎn)效率和生活質(zhì)量的巨大貢獻。所以，英偉達創(chuàng)始人黃仁勛說“算力就是權(quán)力”。美國更是直接將人工智能作為技術(shù)霸權(quán)的手段，對我們進行斷供、卡壓；不斷推出的大模型一次又一次地拓展了智能的邊界，讓我們應(yīng)接不暇；即將耗盡的人類高質(zhì)量數(shù)據(jù)，又會孕育出怎樣的新能力，是否可能也會像最近推出的新應(yīng)用一樣超出我們的想象呢？特別是日新月異的新應(yīng)用正在不斷地重新定義經(jīng)濟發(fā)展板塊或政治勢力的范圍。從這個意義講，由算力、模型、數(shù)據(jù)、應(yīng)用共同成就的人工智能是真正的新質(zhì)生產(chǎn)力。

作為一個致力于民族復(fù)興的發(fā)展中大國，我國早已預(yù)見到以人工智能為主的這一輪科技革命的戰(zhàn)略機遇。從十年前的2015年至今，國家從專業(yè)規(guī)劃、技術(shù)攻關(guān)、市場培育、應(yīng)用引導(dǎo)等方面，先后發(fā)布了20多項政策文件。我理解，國家是希望在幾十年“互聯(lián)網(wǎng)+”的基礎(chǔ)上，激發(fā)數(shù)據(jù)要素的乘數(shù)效應(yīng)，進而抓住人工智能的發(fā)展機遇，通過網(wǎng)、數(shù)、智統(tǒng)籌推進，讓人工智能賦能百業(yè)千行，造福千家萬戶。這是中國式現(xiàn)代化志在必得的一個歷史機遇，因為在人工智能的指數(shù)效應(yīng)下，AI會影響到每個個體，每個家庭，每個團隊，每個學(xué)科，乃至每個行業(yè)和每個國家。

作為一名從事網(wǎng)絡(luò)信息安全的科技工作者，我也想到了人工智能會帶來安全挑戰(zhàn)。但是，正如鄔院士所說，有很多沒有想到的，沒有預(yù)見到。確實，我個人沒有預(yù)見到人工智能的安全焦慮來得這么快，影響這么大。這兩年，從杰弗里·辛頓從谷歌辭職，到OpenAI內(nèi)部“宮斗”，再到眾多科學(xué)家、企業(yè)家、公眾人物公開表達擔(dān)憂，僅在2023年一年，對人工智能安全的深度焦慮就從技術(shù)界蔓延到商業(yè)界到社會領(lǐng)域乃至全球。近70多個國家在五年內(nèi)出臺了人工智能安全治理方面的戰(zhàn)略對策和法律文件近百件。盡管各自的立場不同，但是各個國家都在關(guān)注人工智能的公平、向善、負(fù)責(zé)、信任、尊嚴(yán)、團結(jié)、發(fā)展等。

聯(lián)合國框架下的多邊機制和技術(shù)、商業(yè)、網(wǎng)絡(luò)社區(qū)的多方機制，也都在大小會上研究探討，共同推進人工智能安全與治理方面的研究，強化基礎(chǔ)設(shè)施的安全保障，推廣負(fù)責(zé)、安全、向善的人工智能應(yīng)用。前兩天中美之間就在進行這方面的對話?？梢哉f，人工智能安全治理已成為大國博弈的一個協(xié)調(diào)議題，成為國際治理的當(dāng)務(wù)之急。

這又驗證了中國的一句老話，那就是“一利生必有一弊隨”。人工智能的橫空出世給人類帶來了無限生機和希望的同時，也送來了細(xì)思極恐的近憂和遠(yuǎn)慮。

谷歌公司前CEO埃里克·施密特組織了一批國際社會的名人雅士，滾動歸納面向2050年人工智能可能面臨的世界性難題。這是最近他們列出的最新的十大難題，并在五年內(nèi)懸賞1.5億美元，誠招天下豪杰，尋求解決之道。他們認(rèn)為，這些問題不解決，人工智能發(fā)展不可能很順利。

當(dāng)前的十大問題可以歸結(jié)為技術(shù)發(fā)展的安全、應(yīng)用發(fā)展的安全、社會發(fā)展的安全和人類發(fā)展的安全。仔細(xì)看這十大難題，相信大家會和我有一樣的感受，那就是，未來已來、時不我待。我們要抓住歷史性機遇，實現(xiàn)高質(zhì)量發(fā)展，就必須主動應(yīng)對安全新挑戰(zhàn)，統(tǒng)籌好發(fā)展和安全。

二

人工智能的安全新挑戰(zhàn)

回顧互聯(lián)網(wǎng)出現(xiàn)以來的網(wǎng)絡(luò)信息安全發(fā)展歷程，我不敢像鄔院士一樣追溯到馮諾依曼，但可上溯到三十年前。根據(jù)這三十年的發(fā)展，也可以把網(wǎng)絡(luò)安全大致分為三個階段，前20年左右是IT驅(qū)動階段，從局域網(wǎng)、城域網(wǎng)到廣域網(wǎng)，再到物聯(lián)網(wǎng)。萬物互聯(lián)追求的是規(guī)模，安全的重點是邊界防護，就是剛才鄔院士講的那些盒子。后10年是DT驅(qū)動時代，以大數(shù)據(jù)、云計算為特征，追求數(shù)據(jù)的流動，激發(fā)數(shù)據(jù)的價值，就是數(shù)據(jù)“要素×”的概念。安恒信息就是這個階段成長起來的公司。這一時期安全的重點是在內(nèi)容上。

而今，AI驅(qū)動開啟了一個新的階段，面對的是全新的對象。這個對象現(xiàn)在國際上有一個新詞，叫Homo Technologicus（科技智人）。它是與社會人相似又有不同的新物種，是鮮活的硅基生物，是像人從猿變成智人一樣的革命性飛躍。所以，從網(wǎng)絡(luò)信息安全方面講，它的風(fēng)險，除了過去我們熟悉的外在風(fēng)險之外，更重要的是，其所帶來的我們完全未知的內(nèi)在的自身風(fēng)險。

導(dǎo)致或者推動這一輪新的發(fā)展階段的基層技術(shù)是什么？就是以人工智能和合成生物學(xué)為主的一系列的顛覆性技術(shù)。去年，我認(rèn)真讀了美國兩大著名的人工智能頭部企業(yè)聯(lián)合創(chuàng)始人Mustafa Suleyman撰寫的《巨浪將至》。我認(rèn)為它是能與《第三次浪潮》相提并論的講述科技革命的經(jīng)典。這本書指出，人類正處在一場史詩級技術(shù)革命的風(fēng)口浪尖，人工智能變革將與蒸汽機、電力或數(shù)字晶體管變革相媲美，必將創(chuàng)造空前巨大的繁榮，同時帶來前所未有的挑戰(zhàn)。書中歸納出新一輪技術(shù)浪潮的四個特點：一是能夠重塑權(quán)力并消除壁壘的不對稱性；二是在廣度和深度層面快速迭代的超級演化性；三是廣泛賦能多技術(shù)領(lǐng)域的通用性；四是遠(yuǎn)超控制或預(yù)測范圍的自主性。這些技術(shù)特點促成了本世紀(jì)人類面臨的安全困境，也就是說，技術(shù)浪潮已經(jīng)勢不可擋，人類只能因勢利導(dǎo)。

人工智能的“巨浪”已極大地改變了安全問題的內(nèi)涵和外延。過去，我們習(xí)慣把網(wǎng)絡(luò)信息安全（Security）叫做非傳統(tǒng)安全，現(xiàn)在即將成為傳統(tǒng)安全。由科技智人帶來的未知的難以預(yù)測的新型安全問題已經(jīng)成為現(xiàn)實。還有，剛才鄔院士提到的人工智能技術(shù)應(yīng)用涉及的倫理安全問題，會因為種族不同、文化差異、意識形態(tài)等變得更為復(fù)雜，有的甚至?xí)魬?zhàn)人類的天理或人倫。所以，人工智能時代的安全比過去更為復(fù)雜，至少是Security（既有安全），Safety（新興安全）和Ethics（倫理安全）交織交融的新圖景。這是安全問題和以往的根本區(qū)別。

在傳統(tǒng)安全領(lǐng)域，AI已經(jīng)系統(tǒng)性融入網(wǎng)絡(luò)攻防的各個環(huán)節(jié)，賦予Security新的內(nèi)涵。我們舉兩個例子。

一是AI助力網(wǎng)絡(luò)防御。美國微軟公司推出了一款全新的網(wǎng)絡(luò)安全產(chǎn)品Security Copilot。它內(nèi)置了GPT4，并且與超過65萬億個網(wǎng)絡(luò)安全威脅模型庫相結(jié)合，給用戶提供生成式、自動化網(wǎng)絡(luò)安全人工智能服務(wù)。去年一年運行成果表明，它可以將安全事件響應(yīng)、評估和防御，從過去的數(shù)小時到數(shù)天降低到分鐘級，防守之快不言而喻。二是人工智能助攻網(wǎng)絡(luò)攻擊。美國重要智庫Mitre，就是提出網(wǎng)絡(luò)韌性和彈性的這家公司，發(fā)布了一張人工智能系統(tǒng)對抗性威脅的場景圖，呈現(xiàn)了人工智能應(yīng)用于從偵查踩點、網(wǎng)絡(luò)滲透到維持控守、數(shù)據(jù)獲取，再到秘密傳遞、后場處理等網(wǎng)絡(luò)攻擊全生命周期的復(fù)雜場景。威力之大，可想而知?？梢哉f，人工智能用于安全防護或用于網(wǎng)絡(luò)攻擊這兩方面，在國際社會發(fā)展迅猛?？上驳氖?，國內(nèi)安全行業(yè)也在積極投身于人工智能安全和人工智能賦能安全方面的研究。會前，我了解到安恒信息在這方面做了大量的工作，并在這兩年的重大安?；顒又行≡嚺５叮〉昧瞬诲e的成績。

在新興的自身安全領(lǐng)域，人工智能隱含了不少新的隱患。由于神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的算法或機理上具有不透明性和難解釋性，很多科學(xué)家擔(dān)心的技術(shù)失靈、智能失常甚至出現(xiàn)幻覺、涌現(xiàn)意外的功能等都可能出現(xiàn)。比如，特斯拉自動駕駛出現(xiàn)的“墳場幽靈”；ChatGPT常常一本正經(jīng)地胡說八道，永遠(yuǎn)說正確的話，永遠(yuǎn)說從眾的話。因此，雖然人工智能現(xiàn)在反應(yīng)很快，但不太聰明，甚至還有意想不到的感情表達。通過惡意提問甚至可以污染數(shù)據(jù)，引導(dǎo)越獄，引發(fā)惡魔模式等。所以，在短短兩年內(nèi)，出現(xiàn)了很多人工智能應(yīng)用的怪象。這種硅基生命與生俱來的安全隱患，是一種全新的安全風(fēng)險。我們對這方面過去了解太少，經(jīng)驗不足，因而威脅更大，防范更難。

倫理方面的安全風(fēng)險。馬克思說過，人與動物的根本區(qū)別在于會制造和使用工具。從石器時代一直到冷熱兵器時代，人類面臨的技術(shù)倫理由來已久。只不過人工智能時代倫理問題更加驚世駭俗，就是因為它快“活”了，所以需要從生命的角度考慮倫理問題。比如，價值觀可能難以對齊人類，在數(shù)據(jù)訓(xùn)練中可能會學(xué)會偏見或欺騙，在處理沖突和困境的時候可能不會遵循人類的道德準(zhǔn)則。再比如，深度偽造類的技術(shù)作惡，技術(shù)武器化用于軍事，技術(shù)霸權(quán)加劇地緣政治沖突等。這些都是過去的技術(shù)手段難以達到的影響。

我讀過基辛格的《論世界秩序》。書里指出人工智能的危害比核武器還會超前一大步。核武器之所以能夠被控制，是因為人類如果都動用它，可能會導(dǎo)致“同死”。對于人工智能，希望通過治理能夠達到“共生”。細(xì)細(xì)品味，這的確值得我們深思。為什么我專門強調(diào)這是一個新的安全問題？因為這些風(fēng)險可以泛化，它不僅是一個倫理問題，它對個人、對種族、對國家甚至對人類都可能造成影響。所以，影響之廣，不得不防，難度之大，又防不勝防。這就是難題。

所以說，人工智能的發(fā)展客觀上對安全保障提出了新的要求。我不敢說是范式的改變，但至少提出了新的要求。從目前看，人工智能技術(shù)的推廣應(yīng)用是大勢所趨，也是人心所向。但是，個人應(yīng)用需要謹(jǐn)慎，社會推廣需要安全，國家發(fā)展需要對這些技術(shù)進行防控，甚至國際治理也需要協(xié)調(diào)。剛才，趙厚麟先生特別從國際組織的角度講到協(xié)調(diào)的重要性。我想，這應(yīng)該是目前國際國內(nèi)的一個共識。因此，我們認(rèn)為，在智能化時代要確保個人隱私和安全，要維護社會和穩(wěn)定，要支撐國家的發(fā)展和安全利益，要維護國際合作和和平，就必須要有一個安全、堅韌、可信的人工智能發(fā)展生態(tài)，也就是必須要統(tǒng)籌好發(fā)展和安全。

三

統(tǒng)籌發(fā)展與安全

大力發(fā)展人工智能是國家當(dāng)前的政策導(dǎo)向和戰(zhàn)略部署。以安全保發(fā)展，對我們科技界、產(chǎn)業(yè)界而言，既責(zé)無旁貸，又大有可為。要統(tǒng)籌好發(fā)展與安全，至少有四方面的工作，需要我們做實做好。

三觀要正。統(tǒng)籌發(fā)展與安全是習(xí)近平新時代中國特色社會主義思想的一個重要內(nèi)容，為我們搶抓人工智能發(fā)展機遇，應(yīng)對安全治理的嚴(yán)峻挑戰(zhàn)，提供了根本遵循，值得我們反復(fù)學(xué)習(xí)，深入領(lǐng)會。我理解，領(lǐng)會這個精神要牢固樹立以下三個觀念：一是辯證的信息安全觀。總書記反復(fù)強調(diào)網(wǎng)絡(luò)信息安全要辯證地看，安全是相對的不是絕對的，是動態(tài)的不是靜態(tài)的，是整體的不是局部的，尤其強調(diào)，是為發(fā)展服務(wù)的。二是要樹立總體國家安全觀。總書記講，沒有網(wǎng)絡(luò)安全就沒有國家安全，沒有信息化就沒有現(xiàn)代化，并創(chuàng)造性提出了總體國家安全觀，要求我們從系統(tǒng)、整體、全局的高度認(rèn)識和處理安全問題，綜合考慮國家安全涉及的方方面面。三是全球安全治理觀。總書記創(chuàng)造性提出的人類命運共同體的主張，受到了世界各國的積極響應(yīng)。去年，也是在他的倡導(dǎo)下，發(fā)布了全球人工智能治理倡議，提出了共建共管、共治共享的主張，引起了世界各國的反響。我理解，這三種觀念是我們迎接人工智能挑戰(zhàn)的強大的思想武器。

技術(shù)要硬。人工智能的安全挑戰(zhàn)是可能出現(xiàn)的科技智人給我們提出的全新挑戰(zhàn)，顛覆性技術(shù)是對抗的焦點。一方面，國家與國家之間科技競爭已經(jīng)是劍拔弩張，另一方面，現(xiàn)代人類和即將出現(xiàn)的科技智人暗地里的博弈也是驚心動魄。我國在AI領(lǐng)域布局早、需求大，但是技術(shù)差距客觀存在，安全能力也亟待改變。比如，在關(guān)鍵技術(shù)卡脖子方面，我們需要更加自立自強；在基礎(chǔ)設(shè)施領(lǐng)域，需要實現(xiàn)可管可控；在技術(shù)應(yīng)用方面，需要提供更多安全便捷的手段；在社會發(fā)展上，需要讓人工智能變得可靠可信?？茖W(xué)技術(shù)是我們國家發(fā)展的支撐和底氣。國家在人工智能方面的技術(shù)需求目前是最為迫切的，這給我們科技界、學(xué)術(shù)界、產(chǎn)業(yè)界提出了攻堅克難的奮斗方向，也提供了大展宏圖的用武之地。

能力要強。為人工智能的推廣應(yīng)用或健康發(fā)展創(chuàng)造一個更加安全、堅韌、可信的發(fā)展生態(tài)，既是社會期盼，又是產(chǎn)業(yè)追求，更是國家的責(zé)任。要做到確保人工智能自身或人工智能服務(wù)的安全可靠，就需要我們安全行業(yè)做到與時俱進，用鄔院士的話講，要實現(xiàn)范式轉(zhuǎn)變，不再局限于局部的安全防護或單一的技術(shù)應(yīng)對，不再糾一個漏洞、一個問題，而是需要把Security、Safety、Ethics等各種問題融為一體，構(gòu)建一個高度彈性或韌性的新型的安全保障體系。鄔院士剛剛提了一個問題，就是怎么衡量彈性或韌性。我理解，衡量人工智能發(fā)展的安全韌性或者彈性要有三方面的指標(biāo)：一是風(fēng)險承受能力；二是恢復(fù)發(fā)展的能力；三是適應(yīng)變革的能力。如果從這三個維度把能力提起來，對人工智能的發(fā)展應(yīng)該是有益的。

倫理要順。倫理安全是人工智能安全的新內(nèi)容。倫理順就是人工智能的發(fā)展需要順天理、合人倫，要以人為本。以人為本，技術(shù)要求叫做對齊。當(dāng)前，研究非常熱絡(luò)，Nature、Science雜志都越來越多發(fā)表這方面的文章。總體看，解決倫理問題不單純是一個政治問題，更是一個社會科學(xué)的問題，同樣涉及技術(shù)問題，需要技術(shù)和非技術(shù)的方法來解決。

學(xué)術(shù)界、技術(shù)界已經(jīng)提出一些基本的技術(shù)方法和非技術(shù)方法，因時間關(guān)系我不一一列舉。我想強調(diào)的一點就是，需要我們學(xué)術(shù)界、產(chǎn)業(yè)界共同努力，研究開發(fā)相關(guān)的理論、方法或技術(shù)手段，使這樣的對齊更方便、更量化、更便捷、更有效。

各位領(lǐng)導(dǎo)、同志們，科技創(chuàng)新永無止境，人工智能正方興未艾，安全風(fēng)險如影相隨，但美好的未來依然可期。我相信，人工智能一定會造福人類，而不會取代人類。但是，我也相信，會使用人工智能的人可能會取代不會使用人工智能的人。所以，我想用一句話結(jié)束我今天的分享。那就是，擁抱人工智能吧，但請注意安全。

謝謝大家。

掃碼觀看直播回放直擊大會精彩現(xiàn)場

關(guān)閉

AI智能體專區(qū)

AI智能體專區(qū)

告警研判和降噪智能體

安全運營咨詢服務(wù)智能體

惡意郵件研判智能體

數(shù)據(jù)分類分級智能體

API安全智能體

自動化滲透測試智能體

終端數(shù)據(jù)防泄漏智能體

惡意軟件檢測智能體

數(shù)據(jù)安全咨詢服務(wù)智能體

核心安全產(chǎn)品

場景解決方案

Saas產(chǎn)品訂閱專區(qū)

熱門產(chǎn)品推薦

安恒數(shù)盾數(shù)據(jù)安全管控平臺最熱

數(shù)據(jù)庫審計與風(fēng)險控制系統(tǒng)推薦

明御防火墻最熱

AI時代網(wǎng)絡(luò)安全產(chǎn)業(yè)人才發(fā)展報告

AI安服數(shù)字員工

AI安服數(shù)字員工

AI滲透測試

AI應(yīng)急響應(yīng)

AI安全咨詢

AI代碼審計

AI數(shù)字安全教師

AI+安全服務(wù)

AI+ 安全服務(wù)

一切產(chǎn)品皆資源，一切資源皆服務(wù)

行業(yè)解決方案>

技術(shù)解決方案>

安全意識教育解決方案>

西湖論劍演講實錄 | 吳世忠院士：迎接人工智能的安全挑戰(zhàn)

相關(guān)推薦

告警研判和
降噪智能體

安全運營咨詢
服務(wù)智能體

惡意郵件研判
智能體

數(shù)據(jù)分類
分級智能體

API安全
智能體

自動化滲透
測試智能體

終端數(shù)據(jù)防
泄漏智能體

惡意軟件檢
測智能體

數(shù)據(jù)安全咨詢
服務(wù)智能體

AI數(shù)字
安全教師

一切產(chǎn)品皆資源，一切資源皆服務(wù)