描述mcp內(nèi)核常見問題的排查方法幫助快速排查定位問題

簡介

任何系統(tǒng)，硬件故障和軟件故障都不可避免。比如車載系統(tǒng)，由于汽車行駛過程中的震動(dòng)，發(fā)熱，電瓶饋電等，很容易影響電子元件的特性，這對(duì)設(shè)備是致命的影響，會(huì)直接改變程序邏輯及運(yùn)行結(jié)果從而產(chǎn)生各種不可預(yù)測(cè)的異常情況，本文描述常見問題的排查方法幫助快速排查定位問題所在也提出一些系統(tǒng)性設(shè)計(jì)來規(guī)避這些問題.

啟動(dòng)流程初判斷

我們對(duì)穩(wěn)定性分析第一手分析本上是從debug log開始,它可以直觀的給我們信息反饋, 想對(duì)debug log 中的問題進(jìn)行判斷還需要我們對(duì)設(shè)備的啟動(dòng)流程有充分的了解,在什么階段使用了哪些資源同時(shí)又有哪些硬件參與其中.

通過分割流程,細(xì)化加載過程可以對(duì)當(dāng)前疑問點(diǎn)從合理性進(jìn)行解釋，以高通啟動(dòng)為例:

從啟動(dòng)流程可以知道每一個(gè)階段的啟動(dòng)都包含著數(shù)據(jù)完整性檢查,當(dāng)secboot開啟時(shí)還有合法性檢查; 通過這個(gè)幫助我們初步判斷異常位置明確下一步分析方向;

Nand Flash排查

針對(duì)nand flash的分析要先了解其構(gòu)造;

Flash的內(nèi)部存儲(chǔ)是MOSFET，里面有個(gè)懸浮門(Floating Gate)，是真正存儲(chǔ)數(shù)據(jù)的單元。

數(shù)據(jù)在Flash內(nèi)存單元中是以電荷(electrical charge) 形式存儲(chǔ)的。存儲(chǔ)電荷的多少，取決于圖中的外部門（external gate）所被施加的電壓，其控制了是向存儲(chǔ)單元中沖入電荷還是使其釋放電荷。而數(shù)據(jù)的表示，以所存儲(chǔ)的電荷的電壓是否超過一個(gè)特定的閾值Vth來表示，因此，F(xiàn)lash的存儲(chǔ)單元的默認(rèn)值，不是0（，而是1，而如果將電荷釋放掉，電壓降低到一定程度，表述數(shù)字0。

Nand Flash 存儲(chǔ)結(jié)構(gòu)

Nand 的缺點(diǎn)數(shù)據(jù)讀寫容易出錯(cuò),所以一般都需要有對(duì)應(yīng)的軟件或者硬件的數(shù)據(jù)校驗(yàn)算法，統(tǒng)稱為ECC, 每一個(gè)頁，對(duì)應(yīng)還有一塊區(qū)域，叫做空閑區(qū)域（spare area）/冗余區(qū)域（redundant area），而Linux系統(tǒng)中，一般叫做OOB（Out Of Band），這個(gè)區(qū)域，是最初基于Nand Flash的硬件特性：數(shù)據(jù)在讀寫時(shí)候相對(duì)容易錯(cuò)誤，所以為了保證數(shù)據(jù)的正確性，必須要有對(duì)應(yīng)的檢測(cè)和糾錯(cuò)機(jī)制，此機(jī)制被叫做EDC(Error Detection Code)/ECC（Error Code Correction, 或者 Error Checking and Correcting），所以設(shè)計(jì)了多余的區(qū)域，用于放置數(shù)據(jù)的校驗(yàn)值。

Oob的讀寫操作，一般是隨著頁的操作一起完成的，即讀寫頁的時(shí)候，對(duì)應(yīng)地就讀寫了oob。

關(guān)于oob具體用途，總結(jié)起來有：

1.標(biāo)記是否是壞快

2.存儲(chǔ)ECC數(shù)據(jù)

Nand Flash 結(jié)構(gòu)

壞塊

為什么會(huì)出現(xiàn)壞塊?

由于 NAND Flash的工藝不能保證NAND的Memory Array在其生命周期中保持性能的可靠，因此，在NAND的生產(chǎn)中及使用過程中會(huì)產(chǎn)生壞塊。壞塊的特性是：當(dāng)編程/擦除這個(gè)塊時(shí)，不能將某些位拉高，這會(huì)造成Page Program和Block Erase操作時(shí)的錯(cuò)誤，相應(yīng)地反映到Status Register的相應(yīng)位。

壞塊的分類

總體上，壞塊可以分為兩大類

（1） 固有壞塊 這是生產(chǎn)過程中產(chǎn)生的壞塊，一般 芯片 原廠都會(huì)在出廠時(shí)都會(huì)將壞塊第一個(gè)page的spare area的第6個(gè)byte標(biāo)記為不等于0xff的值。

（2）使用壞塊 這是在NAND Flash使用過程中，如果Block Erase或者Page Program錯(cuò)誤，就可以簡單地將這個(gè)塊作為壞塊來處理，這個(gè)時(shí)候需要把壞塊標(biāo)記起來。

壞塊如何檢測(cè)

壞塊的判斷方法非常簡單對(duì)目標(biāo)塊擦除就可判斷是否是壞塊。

壞塊的影響性

判斷壞塊并不是技術(shù)難點(diǎn),問題是在于當(dāng)產(chǎn)生壞塊時(shí)系統(tǒng)穩(wěn)定性如何去保障,這里就涉及到項(xiàng)目前期對(duì)整體穩(wěn)定性設(shè)計(jì);

根據(jù)固件格式大致可以分為三種:只讀鏡像,只讀文件系統(tǒng)和數(shù)據(jù)分區(qū)

1.只讀鏡像

這里只讀鏡像在固件中SBL ,LK,Boot.img 等等鏡像文件, 當(dāng)鏡像存儲(chǔ)區(qū)域由于某種異常產(chǎn)生壞塊就會(huì)破壞數(shù)據(jù)的完整性;

只讀鏡像大部分只會(huì)在加載過程中讀取,后續(xù)運(yùn)行在內(nèi)存中,所以問題會(huì)在壞塊產(chǎn)生后的下一次啟動(dòng);

2.只讀文件系統(tǒng)

文件系統(tǒng)跟只讀鏡像比較類似,差別在于文件系統(tǒng)并不是一次全部加載校驗(yàn)換句話說就是用哪里加載哪里,同樣原理如果加載數(shù)據(jù)因壞塊而導(dǎo)致失效系統(tǒng)也會(huì)崩潰;

3.數(shù)據(jù)分區(qū)

數(shù)據(jù)分區(qū)基本操作就是寫入和擦除,所以當(dāng)壞塊產(chǎn)生時(shí)影響的是在分區(qū)中存儲(chǔ)的數(shù)據(jù);

數(shù)據(jù)存儲(chǔ)根據(jù)使用功能的不同丟失的影響性也存在較大差異,文件系統(tǒng)中文件數(shù)據(jù)丟失表現(xiàn)為文件數(shù)據(jù)無法訪問或者文件不存在訪問失敗;但當(dāng)重要配置文件丟失, 證書文件,加密裸數(shù)據(jù)丟失同樣會(huì)導(dǎo)致系統(tǒng)崩潰無法正常使用;

預(yù)防性設(shè)計(jì)

萬幸的是使用過程中產(chǎn)生連續(xù)三個(gè)壞塊的概率極低,這就給我們機(jī)會(huì)針對(duì)壞塊預(yù)防性設(shè)計(jì);

那我們?nèi)绾稳ソ鉀Q這個(gè)問題呢?

了解壞塊的產(chǎn)生和影響性,可以知道想要規(guī)避壞塊需要我們?cè)谙到y(tǒng)設(shè)計(jì)初就要考慮,在設(shè)備使用過程中有壞塊產(chǎn)生時(shí)如何保證系統(tǒng)的穩(wěn)定性;

針對(duì)產(chǎn)生的影響性加強(qiáng)系統(tǒng)穩(wěn)定性設(shè)計(jì):

1.只讀鏡像&只讀文件系統(tǒng)

加大分區(qū)冗余度是可以降低壞塊是在數(shù)據(jù)區(qū)的概率也會(huì)避免連續(xù)壞塊導(dǎo)致燒錄失敗但會(huì)加大空間損耗,不過由于只讀鏡像基本不大可以選擇加大冗余;

只是降低損壞概率還是完全無法保證系統(tǒng)的穩(wěn)定性, 鏡像分區(qū)設(shè)計(jì)可以幫助解決這個(gè)問題，通過啟動(dòng)流程異常檢測(cè)可以幫助我們選擇完整分區(qū)進(jìn)行加載并恢復(fù)損壞分區(qū)；

2種設(shè)計(jì)可以大大增加系統(tǒng)整體的穩(wěn)定性，不過多分區(qū)設(shè)計(jì)要注意鄰區(qū)干擾要適當(dāng)?shù)姆珠_；

2.數(shù)據(jù)分區(qū)

根據(jù)存儲(chǔ)數(shù)據(jù)的必要性可以分為重要分區(qū)和普通分區(qū)；

多分區(qū)設(shè)計(jì)也適用于重要分區(qū) 通過多個(gè)分區(qū)保存重要文件和數(shù)據(jù)可以避免數(shù)據(jù)缺失而引發(fā)的問題；

分區(qū)文件丟失通過備份分區(qū)恢復(fù)文件；

分區(qū)損壞先格式化問題分區(qū)后在通過備份分區(qū)恢復(fù)文件；

由于空間限制重要文件和數(shù)據(jù)要與普通分區(qū)

普通分區(qū)由于壞塊導(dǎo)致的異常完全可以通過格式化進(jìn)行恢復(fù)；

Nand Flash Bit Flip

由于Nand物理特性最常見的異常問題就是產(chǎn)生Bit Flip(位反轉(zhuǎn)) ;

什么是Bit Flip?

所謂的位反轉(zhuǎn)，bit flip，指的是原先Nand Flash中的某個(gè)bit位，發(fā)生電容的0和1狀態(tài)的切換, 這種情況稱之為位反轉(zhuǎn)（Bit Flip）

Bit Flip 產(chǎn)生的原因？

借鑒業(yè)內(nèi)總結(jié)產(chǎn)生Bit Flip原因有如下幾種：

1.漂移效應(yīng)（Drifting Effects）

漂移效應(yīng)指的是，Nand Flash中cell的電壓值，慢慢地變了，變的和原始值不一樣了。

2.編程干擾所產(chǎn)生的錯(cuò)誤（Program-Disturb Errors）

此現(xiàn)象有時(shí)候也叫做，過度編程效應(yīng)（over-program effect）。 對(duì)于某個(gè)頁面的編程操作，即寫操作，引起非相關(guān)的其他的頁面的某個(gè)位跳變了。

3.讀操作干擾產(chǎn)生的錯(cuò)誤（Read-Disturb Errors）

此效應(yīng)是，對(duì)一個(gè)頁進(jìn)行數(shù)據(jù)讀取操作，卻使得對(duì)應(yīng)的某個(gè)位的數(shù)據(jù)，產(chǎn)生了永久性的變化，即Nand Flash上的該位的值變了。

在Nand Flash使用過程中可以總結(jié)一下幾點(diǎn)：

1.讀取干擾：讀取 NAND flash page會(huì)對(duì)同一塊中附近的存儲(chǔ)單元產(chǎn)生干擾，過度讀取最終會(huì)導(dǎo)致存儲(chǔ)單元失去電荷丟失存儲(chǔ)的數(shù)據(jù)。

2. 長期數(shù)據(jù)保留：存儲(chǔ)在 NAND flash中的數(shù)據(jù)會(huì)隨著時(shí)間的推移而損壞（即使不使用）。

3. 高溫干擾：高溫可能會(huì)導(dǎo)致電荷逃逸。隨著溫度的升高，數(shù)據(jù)損壞的速度會(huì)迅速增加。

4. 電磁干擾：電磁干擾可能會(huì)導(dǎo)致電荷不穩(wěn)定。

Bit Flip 判斷方法

我們知道Nand Flash 為了防止Bit Flip設(shè)計(jì)了ECC算法進(jìn)行糾正位反轉(zhuǎn)數(shù)據(jù)，我們也可通過ECC來判斷Nand Flash是否產(chǎn)生了Bit Flip；

模擬page size 為2K ECC 能力為8 byte 的 ecc 分布 Layout

2048-byte page, 8-bit ECC, 8-bit NAND Flash

通過Layout 可以發(fā)現(xiàn)ECC 其實(shí)和OOB區(qū)域是Nand Flash 存儲(chǔ)的一部分，Bit Flip 產(chǎn)生的隨機(jī)性同樣也會(huì)影響 ECC數(shù)據(jù)和OOB 數(shù)據(jù)；

文件系統(tǒng)

這里要特殊說明下文件系統(tǒng), 文件系統(tǒng)的問題可以分為兩種：

1.由于異常掉電導(dǎo)致數(shù)據(jù)寫入未完成，或文件處理邏輯未完成產(chǎn)生的系統(tǒng)性校驗(yàn)錯(cuò)誤;

2.文件系統(tǒng)數(shù)據(jù)存儲(chǔ)格式完全依賴于文件系統(tǒng)類型, 同時(shí)讀寫分區(qū)的頻繁讀寫, 空間占用大也導(dǎo)致位反轉(zhuǎn)在文件系統(tǒng)區(qū)域概率大大增加;

分析方法

Nand Flash 的Meta Data數(shù)據(jù)能直觀反應(yīng)問題發(fā)生的原因，通過Dump Nand Flash數(shù)據(jù)可以快速排除存儲(chǔ)數(shù)據(jù)本身是否異常;

1.enable ECC dump Nand Flash數(shù)據(jù)就可以獲取當(dāng)前ECC值；

2.使用相同固件在另一塊Nand Flash 中操作步驟1 獲取正常的Meta Data；

3.通過對(duì)比不同Nand Flash相同數(shù)據(jù)的ECC 值,可以幫助我們確定是否發(fā)生過位反轉(zhuǎn)；

而文件系統(tǒng)需要我們對(duì)文件系統(tǒng)機(jī)制有一定的了解進(jìn)而分析異常原因；

Bit Flip 解決方法

多分區(qū),多冗余的方法也同樣可以解決Bit Flip 問題;

只讀鏡像

只讀鏡像分區(qū)可以依賴通用的錯(cuò)誤處理來解決異常產(chǎn)生后的行為,這樣可以做到處理行為統(tǒng)一;

文件系統(tǒng)

如果有安全考慮的情況下只讀文件系統(tǒng)可以依賴dm-verity功能進(jìn)行異常檢查, 由于文件系統(tǒng)的復(fù)雜性針對(duì)讀寫分區(qū)的異常檢測(cè)點(diǎn)需要我們從概率性和必要性進(jìn)行考慮異常處理的合理性;

還有一種Nand Flash 處于不穩(wěn)定狀態(tài)的情況存在, 這種情況暫時(shí)沒有好的解決方案, 在重新燒錄后表現(xiàn)良好使用一段時(shí)間后產(chǎn)生大量Bit Flip 也無法通過檢測(cè)機(jī)制標(biāo)記成壞塊,對(duì)特征值(0x55 0xaa)驗(yàn)證表現(xiàn)正常;

如果懷疑是這種問題可以創(chuàng)建由隨機(jī)數(shù)組成的文件對(duì)問題區(qū)域進(jìn)行寫入和讀取驗(yàn)證, 同時(shí)也可加上低溫環(huán)境加大問題復(fù)現(xiàn)幾率;

DDR Bit Flip

還有一種位反轉(zhuǎn)在DDR中產(chǎn)生, 這種情況下產(chǎn)生的異常結(jié)果與Nand Flash Bit Flip基本一致, 區(qū)別在于Nand Flash ECC糾正范圍內(nèi)可保證數(shù)據(jù)的完整性，而 DDR Bit Flip 會(huì)直接改變程序邏輯及運(yùn)行結(jié)果從而產(chǎn)生各種不可預(yù)測(cè)的異常情況；

DDR 分析前我們已經(jīng)通過啟動(dòng)流程定位啟動(dòng)階段，排除了是由于Nand Flash數(shù)據(jù)導(dǎo)致的異常，所以我們需要對(duì)DDR 進(jìn)行診斷是否發(fā)生異常。在系統(tǒng)側(cè)可以依賴內(nèi)存自我檢測(cè)方式Slub Debug、KASAN等進(jìn)行檢測(cè)，但啟動(dòng)階段會(huì)在各個(gè)階段遇到DDR Bit Flip無法依賴于系統(tǒng)側(cè)同時(shí)系統(tǒng)側(cè)診斷會(huì)受到內(nèi)存分配Layout限制無法全局診斷；

SBL 是很多平臺(tái)固件加載的第一啟動(dòng)鏡像，在SBl運(yùn)行階段大部分內(nèi)存以物理內(nèi)存方式直接訪問，這樣我們可以利用這一性質(zhì)進(jìn)行內(nèi)存診斷，回讀校驗(yàn)可以幫助我們快速定位問題點(diǎn)；

導(dǎo)致DDR Bit Flip原因有哪些?

DDR 本身損壞導(dǎo)致Bit Flip的情況非常多這源于DDR 設(shè)計(jì)的復(fù)雜性, 能夠通過回讀校驗(yàn)直接檢測(cè)出來的我們都可歸于DDR 本身問題

舉兩個(gè)特殊又比較常見的例子進(jìn)行說明:

Margin問題

Magin 問題通常都是時(shí)序問題,問題的來源可能是設(shè)計(jì)或者材料上的缺陷導(dǎo)致;

DDR 的0和1是由基本電路控制門電路最終達(dá)到標(biāo)準(zhǔn)的"0","1", 如下圖所示當(dāng)在T1時(shí)間內(nèi)無法達(dá)到電壓閾值H1或者L1門電路將會(huì)切到另一端也就是Margin 導(dǎo)致的Bit Flip；

Row Hammere

ROW HAMMER 特性，指DDR 內(nèi)存單元之間電子的互相影響，在足夠多臨近行列的訪問次數(shù)后讓某個(gè)單元的值從1變成0現(xiàn)象。

DDR 會(huì)定時(shí)刷新ceil電荷，但是每次對(duì)ceil讀寫的時(shí)候，會(huì)導(dǎo)致臨近的ceil電荷流失，如果針對(duì)特定ceil 進(jìn)行高頻讀寫，那么會(huì)出現(xiàn)在刷新時(shí)間到達(dá)前，出現(xiàn)bitflip問題 。導(dǎo)致程序運(yùn)行異常

Kernel crash

Kernel Crash的分析是一個(gè)老生常談的問題，本文從crash開始 通過啟動(dòng)流程，Nand Flash，DDR逐一排除最后又回到crash 這里，Kernel 的分析方法與硬件設(shè)計(jì)和實(shí)際問題有關(guān)，所以本文不做專項(xiàng)介紹；

小結(jié)

本文只是工作經(jīng)驗(yàn)的總結(jié)并無太多細(xì)節(jié)展示，希望通過這種從宏觀到微觀剖析的方法幫助大家找到解決問題的思路。



審核編輯：劉清