AI智能體專區(qū)
立即體驗恒腦安全智能體 
立即解鎖AI安服數字員工 
行業(yè)解決方案
技術解決方案
公司
上榜國際頂級學術期刊，安恒信息聯(lián)邦學習領航科技創(chuàng)新
近日，由安恒信息博士后工作站的劉恬博士主導的針對聯(lián)邦學習的安全攻擊研究“FacilitatingEarly-Stage Backdoor Attacks in Federated Learning with Whole PopulationDistribution Inference”，被物聯(lián)網領域國際頂級學術期刊《IEEE Internet of ThingsJournal》收錄并在線發(fā)表。
IEEE Internet of Things Journal（簡稱IoTJ）是國際電氣和電子工程師協(xié)會（IEEE）于2014年創(chuàng)建的物聯(lián)網領域的頂級期刊。該期刊最新的影響因子高達10.238，是SCI檢索期刊，同時也是中科院一區(qū)Top期刊以及JCR一區(qū)期刊。該研究的第一作者是安恒信息博士后工作站的劉恬博士，其第一完成單位為之江實驗室和安恒信息。
1
研究背景
隨著聯(lián)邦學習在各個領域的普及，其安全性變得愈發(fā)重要。聯(lián)邦學習涉及多個參與方共同訓練模型。由于無法驗證參與方上傳的模型的合法性，可能會遭受來自惡意參與方的后門攻擊，即惡意參與方對訓練數據進行投毒，目的是使聯(lián)邦模型對于帶有特定“后門”的數據錯誤分類。在實際場景中，多次注入的后門攻擊可以取得較好的攻擊效果，然而單次后門攻擊在現實場景中的攻擊效果有限。
2
研究內容
該研究首先分析了單次后門攻擊受限的原因。后門攻擊通過對聯(lián)邦學習全局模型進行替換以達到攻擊目的。由于在聯(lián)邦學習模型聚合時，正常模型參數起到了稀釋惡意攻擊參數的作用，因此單次后門攻擊很難達到理想的攻擊效果。研究發(fā)現，通過促進聯(lián)邦學習全局模型的收斂，可以降低這種稀釋作用，從而提高后門攻擊的成功率。
接著，研究提出了一個兩階段的后門攻擊算法。在第一階段（準備階段），攻擊者發(fā)起對全局數據分布的推理攻擊，通過使本地數據分布與全局數據分布對齊，促進全局模型的收斂。在第二階段（攻擊階段），攻擊者發(fā)起常規(guī)的后門攻擊。該攻擊通過向本地數據添加“后門”并翻轉數據標簽，將在注入數據上訓練的模型發(fā)送到中心服務器。
兩階段后門攻擊實施流程
最后，通過對提出的攻擊模式進行了測試，驗證了該方法對于聯(lián)邦學習單次后門攻擊成功率以及留存時間的提升。同時，還分析了該攻擊的潛在防御手段。
部分實驗結果
本研究對聯(lián)邦學習的安全性進行了深入探究，在安恒信息的數據安全島聯(lián)邦學習平臺上已經成功實現了產品轉化。通過對潛在的安全漏洞進行提前修補，為實際應用和推廣打下了堅實的基礎。未來，安恒信息將深入探索聯(lián)邦學習的安全與隱私問題，提出安全高效的安全與隱私保護技術路徑，提升聯(lián)邦學習在實際應用中的可靠性和穩(wěn)定性，為數據安全保駕護航。
