復(fù)雜系統(tǒng)和復(fù)雜計(jì)算概述

編者按

算力網(wǎng)絡(luò)的概念逐漸深入人心，算力網(wǎng)絡(luò)的愿景是“讓算力無(wú)處不在，唾手可得”。這個(gè)愿景非常的令人向往。

在本篇文章中，我們提到兩個(gè)概念：復(fù)雜系統(tǒng)和復(fù)雜計(jì)算。復(fù)雜系統(tǒng)指的是多個(gè)系統(tǒng)融合而成的宏系統(tǒng)；復(fù)雜計(jì)算，則是復(fù)雜系統(tǒng)的計(jì)算范式。

1 從宏觀(guān)算力講起

什么是性能？什么是算力？這兩個(gè)概念是統(tǒng)一的，性能是微觀(guān)的概念，而算力是宏觀(guān)的概念。

性能和算力的關(guān)系，如下面這個(gè)簡(jiǎn)化公式：總算力 = 芯片性能 x 芯片數(shù)量 x 算力利用率。

這三個(gè)參數(shù)，也對(duì)應(yīng)了算力優(yōu)化的微觀(guān)、中觀(guān)和宏觀(guān)的三個(gè)層次：

微觀(guān)層次，即單芯片的性能，主要是通過(guò)工藝進(jìn)步、Chiplet封裝以及架構(gòu)和微架構(gòu)創(chuàng)新來(lái)提升。

中觀(guān)層次，芯片要能夠支持大規(guī)模落地。這里講一個(gè)反面案例，由于AI的算法眾多并且快速多變，AI芯片落地存在困難，難以大規(guī)模量產(chǎn)。無(wú)法量產(chǎn)的芯片，對(duì)宏觀(guān)算力的提升，沒(méi)有多大意義。

最后是宏觀(guān)層次，算力的利用率。我們有了這么多芯片，但如果是孤島，有的系統(tǒng)性能不夠用，而大部分系統(tǒng)的算力又嚴(yán)重浪費(fèi)，那就沒(méi)有充分利用這些算力資源。有過(guò)統(tǒng)計(jì)，云計(jì)算，算力利用率通常在6%左右，要是有辦法，把算力資源利用率提升到90%以上，這將是非常巨大的價(jià)值。要提升利用率，在芯片層面也要做很多的工作，宏觀(guān)上也要做很多的工作。

對(duì)宏觀(guān)算力影響最大最直接的，就是算力的利用率。需要把宏觀(guān)的遍布在云網(wǎng)邊端的所有計(jì)算的資源，連成一個(gè)宏大的資源池，統(tǒng)一調(diào)度。

2 從虛擬化到資源池化

按照虛擬化層次，虛擬化分為計(jì)算機(jī)虛擬化、操作系統(tǒng)虛擬化和函數(shù)虛擬化。綜合這三類(lèi)虛擬化的共性?xún)r(jià)值：

虛擬化按照一定時(shí)間或空間的粒度，把資源切分和組合；

虛擬化屏蔽架構(gòu)/接口差異性，為上層軟件提供一致性的硬件/軟件；

虛擬化為上層軟件系統(tǒng)提供多種下層資源不同比例組合的運(yùn)行平臺(tái)；

上層軟件系統(tǒng)和下層硬件/軟件系統(tǒng)解耦，上層軟件系統(tǒng)作為運(yùn)行實(shí)體，可以創(chuàng)建/銷(xiāo)毀、運(yùn)行/掛起、復(fù)制、遷移等；

多系統(tǒng)隔離/共存：資源共享的同時(shí)，數(shù)據(jù)隔離、性能隔離、故障隔離、安全隔離；

提升系統(tǒng)靈活性，提升資源利用率，提升硬件負(fù)載均衡性，提升軟件高可用性。

以VM為例，假設(shè)有100臺(tái)服務(wù)器，一臺(tái)物理的服務(wù)器虛擬出10臺(tái)VM，1000個(gè)邏輯的（或虛擬的）VM分屬于50個(gè)不同大小的私有集群（通過(guò)VPC）。

多集群多系統(tǒng)動(dòng)態(tài)共存體現(xiàn)在：

硬件集群：供系統(tǒng)調(diào)度的一組硬件設(shè)備的集合，可以從數(shù)臺(tái)到數(shù)千臺(tái)，甚至百萬(wàn)臺(tái)的規(guī)模；

軟件多系統(tǒng)：通過(guò)虛擬化機(jī)制，實(shí)現(xiàn)單個(gè)硬件上的多個(gè)不同規(guī)格的軟件系統(tǒng)共存；

軟件多系統(tǒng)集群：一組軟件系統(tǒng)組成軟件集群，多組軟件集群混合交叉部署在一組硬件集群之上；

動(dòng)態(tài)性：宏觀(guān)地看，這些硬件集群和軟件集群的配置一直處于頻繁的變更中。

很多加速芯片，專(zhuān)注于特定領(lǐng)域：只考慮局部，而沒(méi)有考慮全局。

數(shù)據(jù)中心硬件是預(yù)配置的，購(gòu)買(mǎi)時(shí)不確定運(yùn)行什么軟件；以不變應(yīng)萬(wàn)變，優(yōu)先考慮足夠通用的、綜合性的硬件。

此外，站在云計(jì)算公司的運(yùn)營(yíng)管理視角，需要盡可能地減少硬件的型號(hào)，最理想情況是：硬件規(guī)格是一致性的，只有一種型號(hào)的硬件，然后通過(guò)虛擬化機(jī)制實(shí)現(xiàn)“軟件運(yùn)行平臺(tái)”的差異性。

從虛擬化到資源池化：

虛擬化是池化的基礎(chǔ)：虛擬化側(cè)重于硬件個(gè)體，池化側(cè)重宏觀(guān)整體；

虛擬化：把資源切分成合適的粒度，再通過(guò)虛擬化實(shí)例的創(chuàng)建和遷移實(shí)現(xiàn)資源的調(diào)度；

資源池化的微觀(guān)機(jī)制是虛擬化，通過(guò)云操作系統(tǒng)堆棧，甚至跨云網(wǎng)邊端的操作系統(tǒng)堆棧，實(shí)現(xiàn)虛擬化資源的統(tǒng)一管理、使用和回收等；

微觀(guān)的虛擬化實(shí)現(xiàn)了軟件運(yùn)行平臺(tái)的高可用，宏觀(guān)的資源池化實(shí)現(xiàn)硬件資源的高利用率；

可被池化的（顯式可見(jiàn)的）底層硬件資源包括CPU、內(nèi)存、GPU/DSA等加速器、存儲(chǔ)等。

3 復(fù)雜系統(tǒng)的宏觀(guān)特征

我們先了解一下，復(fù)雜計(jì)算面向的系統(tǒng)具有哪些宏觀(guān)的特征呢？

第一，系統(tǒng)要干什么，不知道。傳統(tǒng)我們做芯片和系統(tǒng)設(shè)計(jì)，通常是要去理解場(chǎng)景，然后根據(jù)場(chǎng)景的需求來(lái)設(shè)計(jì)我們的芯片和系統(tǒng)?，F(xiàn)在的挑戰(zhàn)是，場(chǎng)景的需求是完全不確定的，不但芯片公司不了解，客戶(hù)自己也“不了解”。未來(lái)，需要“無(wú)的放矢”。

第二，由于系統(tǒng)要什么不清楚，也因此系統(tǒng)要包羅萬(wàn)象，啥都能干。

第三，系統(tǒng)干任何事情，都要足夠?qū)I(yè)而高效。我們通常說(shuō)“專(zhuān)業(yè)的人做專(zhuān)業(yè)的事”。言下之意就是說(shuō)：專(zhuān)業(yè)的人只能做本專(zhuān)業(yè)的事情，而通才則意味著在每個(gè)領(lǐng)域都不夠高效。那么復(fù)雜計(jì)算的系統(tǒng)，則要求：既通又專(zhuān)（啥都能干，干啥都高效）。

第四，系統(tǒng)要“三頭六臂”，同時(shí)能做好千千萬(wàn)不同領(lǐng)域和場(chǎng)景、不同客戶(hù)訴求的工作。

第五，系統(tǒng)提供的算力等資源無(wú)處不在，唾手可得。在用戶(hù)最需要的地方，最需要的時(shí)刻，隨叫隨到；并且，以最合適的形態(tài)，最合適的方式出現(xiàn)；還給用戶(hù)創(chuàng)造更多的價(jià)值，給用戶(hù)更好的體驗(yàn)。

最后，關(guān)鍵的一點(diǎn)，系統(tǒng)要持續(xù)演進(jìn)，適應(yīng)用戶(hù)需求的快速變化。

當(dāng)然，這并不是說(shuō)單個(gè)芯片的能力能夠支撐如此強(qiáng)大的系統(tǒng)。而是要發(fā)揮數(shù)以千計(jì)萬(wàn)計(jì)的個(gè)體芯片協(xié)同甚至融合的能力，來(lái)共同支撐宏觀(guān)大系統(tǒng)的更強(qiáng)大的能力。

4 復(fù)雜計(jì)算的定義

復(fù)雜計(jì)算的定義：①基于一組硬件集群，②運(yùn)行多系統(tǒng)集群的、 ③動(dòng)態(tài)的、 ④交叉混合計(jì)算。展開(kāi)說(shuō)明：

單個(gè)硬件支持多個(gè)不同規(guī)格系統(tǒng)的計(jì)算；

單個(gè)硬件集群支持多個(gè)系統(tǒng)集群的計(jì)算，并且系統(tǒng)集群交叉混布；

數(shù)以萬(wàn)計(jì)甚至百萬(wàn)級(jí)的計(jì)算設(shè)備規(guī)模，完全動(dòng)態(tài)的、非常頻繁的軟硬件配置變更；

硬件需要足夠的一致性（盡可能少的型號(hào)和規(guī)格），在一致性硬件基礎(chǔ)上實(shí)現(xiàn)軟件平臺(tái)的差異性；

盡可能滿(mǎn)足所有場(chǎng)景的、足夠通用的、綜合性的計(jì)算平臺(tái)和系統(tǒng)。

5 復(fù)雜計(jì)算的場(chǎng)景

5.1 從云計(jì)算來(lái)，到云網(wǎng)邊端去

云計(jì)算行業(yè)的朋友，看到復(fù)雜系統(tǒng)和復(fù)雜計(jì)算的概念，肯定會(huì)說(shuō)，這不就是云計(jì)算嗎？沒(méi)錯(cuò)，復(fù)雜計(jì)算的確是從云計(jì)算的基礎(chǔ)特征中提取出來(lái)的。

云計(jì)算的這些基礎(chǔ)的特征，在邊緣計(jì)算、軟件定義的網(wǎng)絡(luò)計(jì)算、超級(jí)終端計(jì)算等場(chǎng)景，都有類(lèi)似的特征存在。

我們?cè)噲D歸納總結(jié)這些特征，把它提煉成復(fù)雜計(jì)算這個(gè)概念，用這個(gè)概念：

從個(gè)體視角看，指導(dǎo)底層的芯片的功能定義和系統(tǒng)架構(gòu)的設(shè)計(jì)；

從宏觀(guān)視角看，指導(dǎo)宏觀(guān)算力資源和其他相關(guān)資源的統(tǒng)籌，為全局資源的池化、編排等提供能力支持，并且進(jìn)一步提升宏觀(guān)算力的利用率。

5.2 云計(jì)算場(chǎng)景

云計(jì)算主要是由IaaS、PaaS和SaaS組成的分層服務(wù)體系。云計(jì)算的各種XaaS服務(wù)，本質(zhì)上是系統(tǒng)堆棧逐步由云運(yùn)營(yíng)商接管的過(guò)程。用戶(hù)只需要關(guān)心自己最核心的應(yīng)用/功能即可。

5.3 邊緣計(jì)算場(chǎng)景

CDN（Content Delivery Network，內(nèi)容分發(fā)網(wǎng)絡(luò)）是一種利用最靠近用戶(hù)的服務(wù)器，更快、更可靠地將音樂(lè)、圖片、視頻、應(yīng)用程序及其他文件發(fā)送給用戶(hù)，提供高性能、可擴(kuò)展性及低成本的網(wǎng)絡(luò)內(nèi)容傳遞服務(wù)。

邊緣計(jì)算和CDN有很多相似之處，均通過(guò)DNS修改調(diào)用地址，提供類(lèi)似緩存的機(jī)制，做到客戶(hù)端無(wú)感。

CDN和邊緣計(jì)算的本質(zhì)區(qū)別在于：

CDN是只讀模式，不管是服務(wù)器推送靜態(tài)內(nèi)容或者動(dòng)態(tài)內(nèi)容；

邊緣計(jì)算同樣需要支持多租戶(hù)多系統(tǒng)運(yùn)行，其系統(tǒng)堆棧跟云端有一定相似（可復(fù)用）之處。

5.4 超級(jí)終端場(chǎng)景

北京時(shí)間2022年9月21凌晨，NVIDIA GTC 2022秋季發(fā)布會(huì)上，CEO黃仁勛發(fā)布了其2024年將推出的自動(dòng)駕駛芯片。因?yàn)槠?000TFLOPS的性能過(guò)于強(qiáng)大，英偉達(dá)索性直接把它全新命名為T(mén)hor，代替了之前1000TOPS的Altan。

Thor SoC能夠?qū)崿F(xiàn)多域計(jì)算，它可以為自動(dòng)駕駛和車(chē)載娛樂(lè)劃分任務(wù)。通常，這些各種類(lèi)型的功能由分布在車(chē)輛各處的數(shù)十個(gè)控制單元控制。制造商可以利用Thor實(shí)現(xiàn)所有功能的融合，來(lái)整合整個(gè)車(chē)輛，而不是依賴(lài)這些分布式的ECU/DCU。

超級(jí)終端與傳統(tǒng)終端最大的區(qū)別在于：支持虛擬化，支持多系統(tǒng)運(yùn)行，支持微服務(wù)。手機(jī)、平板、個(gè)人電腦等傳統(tǒng)AP是一個(gè)系統(tǒng)：部署好OS，上面運(yùn)行各種應(yīng)用，軟件附屬于硬件而存在。而自動(dòng)駕駛等超級(jí)終端，需要通過(guò)虛擬化將硬件切分成不同規(guī)格，供不同形態(tài)的多個(gè)系統(tǒng)運(yùn)行，并且各個(gè)系統(tǒng)之間需要做到環(huán)境、應(yīng)用、數(shù)據(jù)、性能、故障、安全等方面的隔離。

自動(dòng)駕駛汽車(chē)，通常需要支持五個(gè)主要的功能域，包括：動(dòng)力域、車(chē)身域、自動(dòng)駕駛域、底盤(pán)域、信息娛樂(lè)域，每個(gè)域會(huì)占用一個(gè)或多個(gè)VM。

5.5 未來(lái)，更多的場(chǎng)景需要復(fù)雜計(jì)算

芯片工藝越來(lái)越先進(jìn)，能支撐的系統(tǒng)規(guī)模越來(lái)越大；上層的軟件應(yīng)用，層出不窮，已有的應(yīng)用持續(xù)快速演進(jìn)。系統(tǒng)從單個(gè)系統(tǒng)變成了多個(gè)系統(tǒng)混合甚至融合的復(fù)雜系統(tǒng)。

系統(tǒng)越來(lái)越復(fù)雜，支持系統(tǒng)計(jì)算的硬件也越來(lái)越復(fù)雜；復(fù)雜的系統(tǒng)越多，需要復(fù)雜計(jì)算覆蓋的場(chǎng)景也就越多。

6 復(fù)雜計(jì)算的挑戰(zhàn)

底層計(jì)算的資源主要是CPU、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)等I/O，以及GPU、DSA等加速器。復(fù)雜計(jì)算的核心挑戰(zhàn)在于：如何把種類(lèi)繁多并且架構(gòu)/接口不一致的資源匯集成池。

個(gè)體的硬件，需要支持非常好的擴(kuò)展性。個(gè)體硬件包括各種異構(gòu)的處理器資源，可以形成小的資源池；并且支持?jǐn)?shù)以萬(wàn)計(jì)的個(gè)體資源連成一片，形成更大的資源池。

硬件個(gè)體需要支持系統(tǒng)的連接和融合，根據(jù)程度的高低，分為四個(gè)階段：

階段一，孤島。所有設(shè)備各自獨(dú)立的工作；

階段二，互聯(lián)。把設(shè)備連到一起，設(shè)備和設(shè)備之間可以通信；

階段三，協(xié)同。C/S架構(gòu)是典型的協(xié)同；有了協(xié)同，也就有了云網(wǎng)邊端。

階段四，融合。協(xié)同通常是靜態(tài)的，隨著時(shí)間推移，初始任務(wù)劃分不一定能適應(yīng)系統(tǒng)的發(fā)展；融合代表著動(dòng)態(tài)以及更多自適應(yīng)性；協(xié)同代表著多個(gè)系統(tǒng)的協(xié)同，而融合代表了多個(gè)系統(tǒng)融合成一個(gè)大系統(tǒng)。

站在宏觀(guān)大系統(tǒng)的視角，云服務(wù)器、邊緣服務(wù)器、終端設(shè)備，以及網(wǎng)絡(luò)設(shè)備，都是一致性的硬件。通過(guò)軟件編排，選擇盡可能最優(yōu)的資源，組成最適合軟件運(yùn)行的邏輯平臺(tái)。

算力芯片是水滴，算力網(wǎng)絡(luò)是海洋。我們要思考的是，這滴水如何設(shè)計(jì)的更好，更好地融入到這片海洋，讓海洋更加浩瀚宏大。

審核編輯：劉清