基于多種硬件平臺(tái)構(gòu)建機(jī)密容器技術(shù)

機(jī)密容器是 CNCF 的 一個(gè) Sandbox 項(xiàng)目，用于解決云原生場景下的數(shù)據(jù)安全問題，滿足數(shù)據(jù)合規(guī)、數(shù)據(jù)隱私保護(hù)、算法和模型等創(chuàng)新 IP 保護(hù)，數(shù)據(jù)可用但是不可見等使用需求，以及解決云廠商的信任依賴問題。

機(jī)密容器具備以下幾個(gè)特性：

安全性。機(jī)密容器基于硬件可信執(zhí)行環(huán)境來保護(hù)容器中數(shù)據(jù)安全，云廠商以及具備高權(quán)限的第三方均無法直接竊取和篡改容器中的數(shù)據(jù)。

易用性。用戶應(yīng)用無需進(jìn)行任何改造，即可從傳統(tǒng)容器環(huán)境中遷移到機(jī)密容器環(huán)境中。

能夠解決租戶和云廠商之間的信任依賴問題。租戶數(shù)據(jù)對于云廠商而言不再透明。

可自證性。用戶可以通過遠(yuǎn)程證明等手段證實(shí)當(dāng)前使用的容器環(huán)境是真實(shí)可信的。

機(jī)密容器的安全性很大程度上依賴于硬件的可信執(zhí)行環(huán)境，基于硬件實(shí)現(xiàn)對于運(yùn)行態(tài)數(shù)據(jù)機(jī)密性、完整性和安全性的保護(hù)。

近年來很多硬件廠商也推出了自己的 TEE 技術(shù)解決方案，比如英特爾 SGX 和 TDX 等，這意味著我們可以基于多種硬件平臺(tái)構(gòu)建機(jī)密容器技術(shù)。

龍蜥社區(qū)理事單位之一的阿里云是機(jī)密容器（Confidential Containers）項(xiàng)目的核心參與者，在參與開源項(xiàng)目開發(fā)的同時(shí)，也一直在推動(dòng)機(jī)密容器的商用解決方案，目前已經(jīng)完成了兩種機(jī)密容器的解決方案構(gòu)建：

一種為 POD 級機(jī)密容器，指將容器 POD 中的內(nèi)容放到 TEE 中進(jìn)行保護(hù)。

一種為進(jìn)程級機(jī)密容器，指將運(yùn)行有敏感業(yè)務(wù)的容器進(jìn)程放到 TEE 中進(jìn)行保護(hù)。

在使用 CPU TEE 保護(hù)運(yùn)行態(tài)數(shù)據(jù)安全的同時(shí)，我們也結(jié)合鏡像安全、存儲(chǔ)安全，遠(yuǎn)程認(rèn)證、網(wǎng)絡(luò)安全等一系列安全技術(shù)，為用戶提供從應(yīng)用部署到執(zhí)行的全鏈路的安全保證。

同時(shí)，我們將機(jī)密容器引入到龍蜥社區(qū)，基于龍蜥開源生態(tài)構(gòu)建開源的、開箱即用的解決方案。目前我們已經(jīng)完成了 ANCK、KVM、Rund 安全容器等組件對于機(jī)密容器的適配工作。構(gòu)建開源解決方案，是希望能夠借助開源社區(qū)與合作伙伴達(dá)成更便捷深入的合作，為機(jī)密容器尋找更多落地場景。

英特爾和阿里云都充分意識(shí)到，除了關(guān)注基礎(chǔ)軟件之外，為了促進(jìn)機(jī)密容器的技術(shù)發(fā)展和普及，應(yīng)用和生態(tài)也是非常關(guān)鍵的一環(huán)。機(jī)密計(jì)算的核心價(jià)值和能力在于能夠?qū)τ诟邇r(jià)值業(yè)務(wù)或敏感數(shù)據(jù)提供保護(hù)，BigDL PPML 就是這樣一個(gè)典型應(yīng)用。

BigDL 是英特爾開源的一款人工智能解決方案平臺(tái)，能夠方便數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師便捷地開發(fā)出一套端到端的分布式人工智能的應(yīng)用。另外，BigDL 特別針對機(jī)密計(jì)算推出了 PPML (隱私保護(hù)機(jī)器學(xué)習(xí))，能夠?qū)Ψ植际饺斯ぶ悄軕?yīng)用實(shí)現(xiàn)端到端的全鏈路保護(hù)。

PPML 架構(gòu)如上圖所示。最底層在 K8s 集群中提供的英特爾 TDX 和英特爾 SGX 可信執(zhí)行環(huán)境。再通過一系列軟硬件底層安全技術(shù)加持，使得用戶能夠在不暴露隱私數(shù)據(jù)的前提下，使用標(biāo)準(zhǔn)的人工智能和大數(shù)據(jù)處理軟件比如 Apache Spark、 Apache Flink、TensorFlow、PyTorch 等熟悉的工具開發(fā)自己的應(yīng)用。

在此之上，PPML 還提供了 Orca 和 DLlib 兩個(gè)分布式流水線。Orca 是在 AI 框架 API 之上，增強(qiáng)了分布式大數(shù)據(jù)的處理能力，而 DLlib 則能夠幫助程序員將分布式深度學(xué)習(xí)應(yīng)用轉(zhuǎn)化成 Spark 應(yīng)用。另外，BigDL 還提供了可信大數(shù)據(jù)分析、可信機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及聯(lián)邦學(xué)習(xí)應(yīng)用。

如上圖所示，BigDL PPML 基于可信的 Kubernetes 集群環(huán)境，通過機(jī)密容器技術(shù)能夠構(gòu)建出基于 TDX 的分布式可執(zhí)行環(huán)境，從而確保業(yè)務(wù)、數(shù)據(jù)和模型在使用和計(jì)算過程中的安全性，包括不可見以及不可更改性。

從數(shù)據(jù)流角度，所有數(shù)據(jù)均以加密方式存儲(chǔ)在數(shù)據(jù)湖和數(shù)據(jù)倉庫中。BigDL PPML 加載這些機(jī)密數(shù)據(jù)，通過遠(yuǎn)程證明以及密鑰管理系統(tǒng)獲取數(shù)據(jù)密鑰，置于可信執(zhí)行環(huán)境中進(jìn)行解密，再使用大數(shù)據(jù)和人工智能的計(jì)算框架， 對數(shù)據(jù)進(jìn)行分布式預(yù)處理，模型訓(xùn)練以及模型推理等。最后，再把最終結(jié)果、數(shù)據(jù)或者模型，以安全或加密方式寫回到分布式存儲(chǔ)中。另外數(shù)據(jù)在節(jié)點(diǎn)之間， 容器之間的數(shù)據(jù)均以 TLS 方式進(jìn)行傳輸，從而做到全鏈路的隱私保護(hù)和數(shù)據(jù)安全。

使用 TDX 機(jī)密容器運(yùn)行 BigDL PPML workload 只需簡單兩步：

首先，構(gòu)建 PPML 的鏡像并對其進(jìn)行加密，然后把加密后的鏡像推送到鏡像倉庫之中。

其次，在 Kubernetes 中部署 PPML workload ，開發(fā)者只需在標(biāo)準(zhǔn) YAML 文件中指定所需機(jī)密容器運(yùn)行時(shí)以及配置好的高性能存儲(chǔ)卷，然后使用標(biāo)準(zhǔn) Kubernetes 命令拉起即可。

如果更深入一點(diǎn)看，Kubernetes 將 workload 調(diào)度到具有運(yùn)行機(jī)密容器能力的目標(biāo)主機(jī)：

首先，主機(jī)上的機(jī)密容器運(yùn)行時(shí)啟動(dòng) TDX TEE。

其次，在 TDX 可信執(zhí)行環(huán)境里，執(zhí)行遠(yuǎn)程證明并獲取驗(yàn)證 / 解密容器鏡像所需的密鑰，鏡像服務(wù)下載容器鏡像，使用密鑰驗(yàn)證及解密容器鏡像；在數(shù)據(jù)方面，用戶使用標(biāo)準(zhǔn)的 K8s CSI driver 比如 open-local 為容器掛載高性能本地 LVM 卷，機(jī)密容器會(huì)自動(dòng)進(jìn)行透明的加密存儲(chǔ)來保護(hù)用戶輸入輸出數(shù)據(jù)。

最后，啟動(dòng) BigDL PPML workload 相關(guān)容器，一個(gè) BigDL PPML Driver 和多個(gè) Worker 以分布式的方式運(yùn)行于 K8s 集群之上，這樣可以基于 TDX 進(jìn)行的可信的云原生大數(shù)據(jù)分析和人工智能應(yīng)用了。

英特爾和阿里云一直保持著緊密合作，兩家都是 CoCo 上游社區(qū)的發(fā)起人，共同定義、設(shè)計(jì)和實(shí)現(xiàn)了 CoCo 軟件棧的諸多關(guān)鍵特性，比如 TEE 內(nèi)鏡像下載，鏡像的驗(yàn)簽和解密，可信臨時(shí)存儲(chǔ)和可度量運(yùn)行時(shí)環(huán)境，所有這一切都確保了 CoCo 這個(gè)項(xiàng)目的強(qiáng)安全屬性。

另外，我們在龍蜥社區(qū)也有緊密的合作，包括共同實(shí)現(xiàn)了基于 TDX 的機(jī)密容器端到端的解決方案，包括遠(yuǎn)程證明以及參考應(yīng)用。又比如我們選擇了龍蜥社區(qū)的 open-local driver ，第一個(gè)支持了可信存儲(chǔ)，一個(gè)支持了 kata 的 directvolume 新特性等等。歡迎感興趣的各位參與到云原生機(jī)密計(jì)算 SIG（Special Interest Group ）中來，一起推動(dòng)云原生場景下的機(jī)密計(jì)算技術(shù)的發(fā)展。

編輯：黃飛