多種內(nèi)存一致性模型的特性分析

早期的CPU是通過(guò)提高主頻來(lái)提升CPU的性能，但是隨著頻率“紅利”越來(lái)越困難的情況下，廠商開(kāi)始用多核來(lái)提高CPU的計(jì)算能力。多核是指一個(gè)CPU里有多個(gè)核心，在同一時(shí)間一個(gè)CPU能夠同時(shí)運(yùn)行多個(gè)線程，通過(guò)這樣提高CPU的并發(fā)能力。

內(nèi)存一致性模型（memory consistency model）就是用來(lái)描述多線程對(duì)共享存儲(chǔ)器的訪問(wèn)行為，在不同的內(nèi)存一致性模型里，多線程對(duì)共享存儲(chǔ)器的訪問(wèn)行為有非常大的差別。這些差別會(huì)嚴(yán)重影響程序的執(zhí)行邏輯，甚至?xí)斐绍浖壿媶?wèn)題。在后面的介紹中，我們將分析不同的一致性模型里，多線程的內(nèi)存訪問(wèn)亂序問(wèn)題。
目前有多種內(nèi)存一致性模型：
順序存儲(chǔ)模型（sequential consistency model）
完全存儲(chǔ)定序（total store order）
部分存儲(chǔ)定序（part store order）
寬松存儲(chǔ)模型（relax memory order）

在后面我們會(huì)分析這幾個(gè)一致性模型的特性

在分析之前，我們先定義一個(gè)基本的內(nèi)存模型，以這個(gè)內(nèi)存模型為基礎(chǔ)進(jìn)行分析

上圖是現(xiàn)代CPU的基本內(nèi)存模型，CPU內(nèi)部有多級(jí)緩存來(lái)提高CPU的load/store訪問(wèn)速度（因?yàn)閷?duì)于CPU而言，主存的訪問(wèn)速度太慢了，上百個(gè)時(shí)鐘周期的內(nèi)存訪問(wèn)延遲會(huì)極大的降低CPU的使用效率，所以CPU內(nèi)部往往使用多級(jí)緩存來(lái)提升內(nèi)存訪問(wèn)效率。）

C1與C2是CPU的2個(gè)核心，這兩個(gè)核心有私有緩存L1，以及共享緩存L2。最后一級(jí)存儲(chǔ)器才是主存。后面的順序一致性模型（SC）中，我們會(huì)以這個(gè)為基礎(chǔ)進(jìn)行描述（在完全存儲(chǔ)定序、部分存儲(chǔ)定序和寬松內(nèi)存模型里會(huì)有所區(qū)別，后面會(huì)描述相關(guān)的部分）

為了簡(jiǎn)化描述的復(fù)雜性，在下面的內(nèi)存一致性模型描述里，會(huì)先將緩存一致性（cache coherence）簡(jiǎn)單化，認(rèn)為緩存一致性是完美的（假設(shè)多核cache間的數(shù)據(jù)同步與單核cache一樣，沒(méi)有cache引起的數(shù)據(jù)一致性問(wèn)題），以減少描述的復(fù)雜性。


順序存儲(chǔ)模型是最簡(jiǎn)單的存儲(chǔ)模型，也稱(chēng)為強(qiáng)定序模型。CPU會(huì)按照代碼來(lái)執(zhí)行所有的load與store動(dòng)作，即按照它們?cè)诔绦虻捻樞蛄髦谐霈F(xiàn)的次序來(lái)執(zhí)行。從主存儲(chǔ)器和CPU的角度來(lái)看，load和store是順序地對(duì)主存儲(chǔ)器進(jìn)行訪問(wèn)。

下面分析這段代碼的執(zhí)行結(jié)果

在順序存儲(chǔ)器模型里，MP（多核）會(huì)嚴(yán)格嚴(yán)格按照代碼指令流來(lái)執(zhí)行代碼
所以上面代碼在主存里的訪問(wèn)順序是：

S1 S2 L1 L2

通過(guò)上面的訪問(wèn)順序我們可以看出來(lái)，雖然C1與C2的指令雖然在不同的CORE上運(yùn)行，但是C1發(fā)出來(lái)的訪問(wèn)指令是順序的，同時(shí)C2的指令也是順序的。雖然這兩個(gè)線程跑在不同的CPU上，但是在順序存儲(chǔ)模型上，其訪問(wèn)行為與UP（單核）上是一致的。
我們最終看到r2的數(shù)據(jù)會(huì)是NEW，與期望的執(zhí)行情況是一致的，所以在順序存儲(chǔ)模型上是不會(huì)出現(xiàn)內(nèi)存訪問(wèn)亂序的情況

3完全存儲(chǔ)定序

為了提高CPU的性能，芯片設(shè)計(jì)人員在CPU中包含了一個(gè)存儲(chǔ)緩存區(qū)（store buffer），它的作用是為store指令提供緩沖，使得CPU不用等待存儲(chǔ)器的響應(yīng)。所以對(duì)于寫(xiě)而言，只要store buffer里還有空間，寫(xiě)就只需要1個(gè)時(shí)鐘周期（哪怕是ARM-A76的L1 cache，訪問(wèn)一次也需要3個(gè)cycles，所以store buffer的存在可以很好的減少寫(xiě)開(kāi)銷(xiāo)），但這也引入了一個(gè)訪問(wèn)亂序的問(wèn)題。

首先我們需要對(duì)上面的基礎(chǔ)內(nèi)存模型做一些修改，表示這種新的內(nèi)存模型

相比于以前的內(nèi)存模型而言，store的時(shí)候數(shù)據(jù)會(huì)先被放到store buffer里面，然后再被寫(xiě)到L1 cache里。

首先我們思考單核上的兩條指令：
S1：store flag= set
S2：load r1=data
S3：store b=set

如果在順序存儲(chǔ)模型中，S1肯定會(huì)比S2先執(zhí)行。但是如果在加入了store buffer之后，S1將指令放到了store buffer后會(huì)立刻返回，這個(gè)時(shí)候會(huì)立刻執(zhí)行S2。S2是read指令，CPU必須等到數(shù)據(jù)讀取到r1后才會(huì)繼續(xù)執(zhí)行。這樣很可能S1的store flag=set指令還在store buffer上，而S2的load指令可能已經(jīng)執(zhí)行完（特別是data在cache上存在，而flag沒(méi)在cache中的時(shí)候。這個(gè)時(shí)候CPU往往會(huì)先執(zhí)行S2，這樣可以減少等待時(shí)間）
這里就可以看出再加入了store buffer之后，內(nèi)存一致性模型就發(fā)生了改變。

如果我們定義store buffer必須嚴(yán)格按照FIFO的次序?qū)?shù)據(jù)發(fā)送到主存（所謂的FIFO表示先進(jìn)入store buffer的指令數(shù)據(jù)必須先于后面的指令數(shù)據(jù)寫(xiě)到存儲(chǔ)器中），這樣S3必須要在S1之后執(zhí)行，CPU能夠保證store指令的存儲(chǔ)順序，這種內(nèi)存模型就叫做完全存儲(chǔ)定序（TSO）。

我們繼續(xù)看下面的一段代碼

在SC模型里，C1與C2是嚴(yán)格按照順序執(zhí)行的
代碼可能的執(zhí)行順序如下：
S1 S2 L1 L2
S1 L1 S2 L2
S1 L1 L2 S2
L1 L2 S1 S2
L1 S1 S2 L2
L1 S1 L2 S2

由于SC會(huì)嚴(yán)格按照順序進(jìn)行，最終我們看到的結(jié)果是至少有一個(gè)CORE的r1值為NEW，或者都為NEW。

在TSO模型里，由于store buffer的存在，L1和S1的store指令會(huì)被先放到store buffer里面，然后CPU會(huì)繼續(xù)執(zhí)行后面的load指令。Store buffer中的數(shù)據(jù)可能還沒(méi)有來(lái)得及往存儲(chǔ)器中寫(xiě)，這個(gè)時(shí)候我們可能看到C1和C2的r1都為0的情況。

所以，我們可以看到，在store buffer被引入之后，內(nèi)存一致性模型已經(jīng)發(fā)生了變化（從SC模型變?yōu)榱薚SO模型），會(huì)出現(xiàn)store-load亂序的情況，這就造成了代碼執(zhí)行邏輯與我們預(yù)先設(shè)想不相同的情況。而且隨著內(nèi)存一致性模型越寬松（通過(guò)允許更多形式的亂序讀寫(xiě)訪問(wèn)），這種情況會(huì)越劇烈，會(huì)給多線程編程帶來(lái)很大的挑戰(zhàn)。

4部分存儲(chǔ)定序

芯片設(shè)計(jì)人員并不滿(mǎn)足TSO帶來(lái)的性能提升，于是他們?cè)赥SO模型的基礎(chǔ)上繼續(xù)放寬內(nèi)存訪問(wèn)限制，允許CPU以非FIFO來(lái)處理store buffer緩沖區(qū)中的指令。CPU只保證地址相關(guān)指令在store buffer中才會(huì)以FIFO的形式進(jìn)行處理，而其他的則可以亂序處理，所以這被稱(chēng)為部分存儲(chǔ)定序（PSO）。

那我們繼續(xù)分析下面的代碼

S1與S2是地址無(wú)關(guān)的store指令，cpu執(zhí)行的時(shí)候都會(huì)將其推到store buffer中。如果這個(gè)時(shí)候flag在C1的cahe中存在，那么CPU會(huì)優(yōu)先將S2的store執(zhí)行完，然后等data緩存到C1的cache之后，再執(zhí)行store data=NEW指令。
這個(gè)時(shí)候可能的執(zhí)行順序：
S2 L1 L2 S1

這樣在C1將data設(shè)置為NEW之前，C2已經(jīng)執(zhí)行完，r2最終的結(jié)果會(huì)為0，而不是我們期望的NEW，這樣PSO帶來(lái)的store-store亂序?qū)?huì)對(duì)我們的代碼邏輯造成致命影響。

從這里可以看到，store-store亂序的時(shí)候就會(huì)將我們的多線程代碼完全擊潰。所以在PSO內(nèi)存模型的架構(gòu)上編程的時(shí)候，要特別注意這些問(wèn)題。

5寬松內(nèi)存模型

喪心病狂的芯片研發(fā)人員為了榨取更多的性能，在PSO的模型的基礎(chǔ)上，更進(jìn)一步的放寬了內(nèi)存一致性模型，不僅允許store-load，store-store亂序。還進(jìn)一步允許load-load，load-store亂序， 只要是地址無(wú)關(guān)的指令，在讀寫(xiě)訪問(wèn)的時(shí)候都可以打亂所有l(wèi)oad/store的順序，這就是寬松內(nèi)存模型（RMO）。

我們?cè)倏纯瓷厦娣治鲞^(guò)的代碼

在PSO模型里，由于S2可能會(huì)比S1先執(zhí)行，從而會(huì)導(dǎo)致C2的r2寄存器獲取到的data值為0。在RMO模型里，不僅會(huì)出現(xiàn)PSO的store-store亂序，C2本身執(zhí)行指令的時(shí)候，由于L1與L2是地址無(wú)關(guān)的，所以L2可能先比L1執(zhí)行，這樣即使C1沒(méi)有出現(xiàn)store-store亂序，C2本身的load-load亂序也會(huì)導(dǎo)致我們看到的r2為0。從上面的分析可以看出，RMO內(nèi)存模型里亂序出現(xiàn)的可能性會(huì)非常大，這是一種亂序隨可見(jiàn)的內(nèi)存一致性模型。

6內(nèi)存屏障

芯片設(shè)計(jì)人員為了盡可能的榨取CPU的性能，引入了亂序的內(nèi)存一致性模型，這些內(nèi)存模型在多線程的情況下很可能引起軟件邏輯問(wèn)題。為了解決在有些一致性模型上可能出現(xiàn)的內(nèi)存訪問(wèn)亂序問(wèn)題，芯片設(shè)計(jì)人員提供給了內(nèi)存屏障指令，用來(lái)解決這些問(wèn)題。

內(nèi)存屏障的最根本的作用就是提供一個(gè)機(jī)制，要求CPU在這個(gè)時(shí)候必須以順序存儲(chǔ)一致性模型的方式來(lái)處理load與store指令，這樣才不會(huì)出現(xiàn)內(nèi)存訪問(wèn)不一致的情況。

對(duì)于TSO和PSO模型，內(nèi)存屏障只需要在store-load/store-store時(shí)需要（寫(xiě)內(nèi)存屏障），最簡(jiǎn)單的一種方式就是內(nèi)存屏障指令必須保證store buffer數(shù)據(jù)全部被清空的時(shí)候才繼續(xù)往后面執(zhí)行，這樣就能保證其與SC模型的執(zhí)行順序一致。
而對(duì)于RMO，在PSO的基礎(chǔ)上又引入了load-load與load-store亂序。RMO的讀內(nèi)存屏障就要保證前面的load指令必須先于后面的load/store指令先執(zhí)行，不允許將其訪問(wèn)提前執(zhí)行。

我們繼續(xù)看下面的例子：

例如C1執(zhí)行S1與S2的時(shí)候，我們?cè)赟1與S2之間加上寫(xiě)屏障指令，要求C1按照順序存儲(chǔ)模型來(lái)進(jìn)行store的執(zhí)行，而在C2端的L1與L2之間加入讀內(nèi)存屏障，要求C2也按照順序存儲(chǔ)模型來(lái)進(jìn)行l(wèi)oad操作，這樣就能夠?qū)崿F(xiàn)內(nèi)存數(shù)據(jù)的一致性，從而解決亂序的問(wèn)題。

ARM的很多微架構(gòu)就是使用RMO模型，所以我們可以看到ARM提供的dmb內(nèi)存指令有多個(gè)選項(xiàng)：

LD load-load/load-store
ST store-store/store-load
SY any-any

這些選項(xiàng)就是用來(lái)應(yīng)對(duì)不同情況下的亂序，讓其回歸到順序一致性模型的執(zhí)行順序上去