《面向大模型訓(xùn)練與推理數(shù)據(jù)保護(hù)的可信執(zhí)行環(huán)境技術(shù)要求》是中國信通院云計(jì)算與大數(shù)據(jù)研究所依托中國通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)（CCSA TC601），聯(lián)合30余家企業(yè)的專家共同編制，旨在為可信執(zhí)行環(huán)境產(chǎn)品/集群在面向大模型場(chǎng)景時(shí)的研發(fā)、測(cè)試、評(píng)估和驗(yàn)收提供參考和指引。

據(jù)此標(biāo)準(zhǔn)形成的測(cè)試方法考慮可信執(zhí)行環(huán)境、模型類別和訓(xùn)練推理數(shù)據(jù)的特點(diǎn)，覆蓋數(shù)據(jù)工程、模型訓(xùn)練支持、模型推理支持、硬件加速、安全要求五大能力域，包含數(shù)據(jù)增強(qiáng)、模型管理、環(huán)境安全和數(shù)據(jù)安全等16個(gè)子能力域，共計(jì)57個(gè)測(cè)試項(xiàng)。

AiLand安全島隱私計(jì)算平臺(tái)專注于保障數(shù)據(jù)安全流通，致力于解決數(shù)據(jù)流通過程中的信任和隱私保護(hù)問題。平臺(tái)綜合應(yīng)用可信執(zhí)行環(huán)境，安全多方計(jì)算，聯(lián)邦學(xué)習(xí)，區(qū)塊鏈等技術(shù)，結(jié)合環(huán)境隔離、關(guān)鍵行為數(shù)字驗(yàn)簽、全流程審計(jì)等，實(shí)現(xiàn)共享數(shù)據(jù)的所有權(quán)和使用權(quán)分離，確保數(shù)據(jù) “可用不可見”，保障數(shù)據(jù)共享交換過程的數(shù)據(jù)可控和流程可溯。

AiLand安全島隱私計(jì)算平臺(tái)架構(gòu)

安恒AiLand安全島隱私計(jì)算平臺(tái)在機(jī)密計(jì)算方面具有業(yè)界領(lǐng)先的產(chǎn)品積累。近兩年在國內(nèi)各大賽事中屢獲優(yōu)異成績(jī)，獲得2023年度信通院星河杯TEE賽道全國一等獎(jiǎng)，2022年度鯤鵬應(yīng)用創(chuàng)新大賽全國總決賽數(shù)字政府賽道金獎(jiǎng)等榮譽(yù)。

在面向大模型訓(xùn)練與推理場(chǎng)景，安恒AiLand安全島隱私計(jì)算平臺(tái)設(shè)計(jì)技術(shù)與產(chǎn)品的安全結(jié)合架構(gòu)，支持融合多方數(shù)據(jù)集建設(shè)精調(diào)數(shù)據(jù)集，持續(xù)進(jìn)行訓(xùn)練和推理。

為增強(qiáng)模型提供方、數(shù)據(jù)提供方與平臺(tái)信任，平臺(tái)使用機(jī)密計(jì)算技術(shù)提供硬件級(jí)的安全保護(hù)，通過算法一致性核驗(yàn)，交互數(shù)據(jù)安全保護(hù)機(jī)制，環(huán)境隔離機(jī)制等實(shí)現(xiàn)模型和數(shù)據(jù)全流程的機(jī)密性、完整性保護(hù)，滿足大模型在高安全要求的業(yè)務(wù)場(chǎng)景需求。

在身份權(quán)限、計(jì)算任務(wù)、訓(xùn)練數(shù)據(jù)、精調(diào)模型等內(nèi)容與機(jī)密計(jì)算技術(shù)深度融合，由硬件為上述內(nèi)容提供了安全保護(hù)與隔離，即使是系統(tǒng)管理員也無法窺探到執(zhí)行中的數(shù)據(jù)。

平臺(tái)依托安恒信息在大模型內(nèi)容安全上多年的積累，支持了模型安全檢測(cè)能力。通過幾千個(gè)測(cè)試用例，可以檢測(cè)出包括提示詞注入、不安全的內(nèi)容輸出、模型濫用風(fēng)險(xiǎn)、模型過度依賴、道德倫理風(fēng)險(xiǎn)、違規(guī)內(nèi)容風(fēng)險(xiǎn)和數(shù)據(jù)泄露風(fēng)險(xiǎn)等七個(gè)方向的風(fēng)險(xiǎn)。

AiLand安全島隱私計(jì)算平臺(tái)安全評(píng)估示例

模型方面，平臺(tái)支持ChatGLM3、Llama3、Baichuan2 、千問2、gemma-1.1等相關(guān)和其他模型運(yùn)行。訓(xùn)練數(shù)據(jù)方面，支持大規(guī)模數(shù)據(jù)輸入，支持?jǐn)?shù)據(jù)處理和多源數(shù)據(jù)安全融合。

平臺(tái)提供與傳統(tǒng)大模型訓(xùn)練推理環(huán)境類似的界面環(huán)境，用戶可以在非安全環(huán)境的模型輕松地遷移到隱私計(jì)算平臺(tái)內(nèi)。

AiLand安全島隱私計(jì)算平臺(tái)推理環(huán)境示例

目前已商用的產(chǎn)品中，支持可滿足安全要求的異構(gòu)加速設(shè)備，如Intel AMX、海光和NVIDIA等。例如Intel AMX是一種用于加速深度學(xué)習(xí)和矩陣計(jì)算的處理器擴(kuò)展，可以為ChatGLM、Llama及QWen等系列模型的推理和訓(xùn)練提供加速能力，2粒第四代志強(qiáng)處理器環(huán)境下，模型的推理速度有近400%的提升，訓(xùn)練速度有近50%的提升。

這些硬件在提供強(qiáng)大計(jì)算能力的同時(shí)，還具備出色的安全性能，能夠有效保護(hù)大模型相關(guān)數(shù)據(jù)的安全性和隱私性。AiLand安全島隱私計(jì)算平臺(tái)充分利用這些硬件優(yōu)勢(shì)，支持在算力基礎(chǔ)設(shè)施上構(gòu)建平臺(tái)，確保在提供計(jì)算性能優(yōu)化的同時(shí)，滿足嚴(yán)格的數(shù)據(jù)安全和隱私保護(hù)要求。

在行業(yè)或領(lǐng)域大模型訓(xùn)練等場(chǎng)景而言，企業(yè)通常會(huì)選擇合適的大模型作為基礎(chǔ)模型，使用本方數(shù)據(jù)或融合多方數(shù)據(jù)對(duì)模型進(jìn)行精調(diào)。在這一過程中，需要保證模型提供方提供的基礎(chǔ)模型的安全和各方用于精調(diào)訓(xùn)練的數(shù)據(jù)安全，防止模型和數(shù)據(jù)被未經(jīng)授權(quán)的訪問。

安恒AiLand安全島隱私計(jì)算平臺(tái)通過環(huán)境隔離、數(shù)據(jù)完整性和機(jī)密性保護(hù)、全流程監(jiān)控審計(jì)等機(jī)制保護(hù)平臺(tái)內(nèi)數(shù)據(jù)安全，并提供模型倉庫、模型導(dǎo)出、優(yōu)化工具等功能，保證精調(diào)階段的功能和性能可用。

在推理場(chǎng)景中需要考慮模型、數(shù)據(jù)和算力等條件，一是提供大模型推理服務(wù)的模型均為企業(yè)花費(fèi)資金和時(shí)間訓(xùn)練得到的，是模型提供方的核心資產(chǎn)；二是，用戶的輸入數(shù)據(jù)和推理結(jié)果是用戶希望被保護(hù)的數(shù)據(jù)；三是提供基于大模型的推理服務(wù)需要一定規(guī)模算力，但并非每家企業(yè)都具備獨(dú)立搭建算力平臺(tái)的能力。

因此，基于公有算力的大模型推理服務(wù)是較為常見的模式。安恒AiLand安全島隱私計(jì)算平臺(tái)，通過一致性檢驗(yàn)、交互加密等方式對(duì)推理服務(wù)時(shí)模型和數(shù)據(jù)進(jìn)行保護(hù)。