統(tǒng)計(jì)嵌入式代碼覆蓋率的方法和經(jīng)驗(yàn)

代碼覆蓋率是衡量軟件測試完成情況的指標(biāo)，通常基于測試過程中已檢查的程序源代碼比例計(jì)算得出。代碼覆蓋率可以有效避免包含未測試代碼的程序被發(fā)布。

1. 問題背景

代碼覆蓋（Code coverage）是軟件測試中的一種度量，描述程式中源代碼被測試的比例和程度，所得比例稱為代碼覆蓋率。

在進(jìn)行代碼測試時(shí)，常常使用代碼覆蓋率作為考核測試任務(wù)完整性的指標(biāo)，并且代碼覆蓋率也被拿來作為衡量代碼質(zhì)量的度量，甚至客戶常常要求交付的軟件達(dá)到一定的代碼覆蓋率才能進(jìn)行發(fā)布，因此代碼覆蓋率統(tǒng)計(jì)尤為重要。

C語言嵌入式軟件的開發(fā)與普通的軟件的開發(fā)很大的不同點(diǎn)就是需要采用交叉開發(fā)的方式，即開發(fā)工具運(yùn)行在軟硬件配置豐富的編譯機(jī)上，而嵌入式應(yīng)用程序則運(yùn)行在軟硬件資源相對缺乏的目標(biāo)機(jī)上。面對C語言的覆蓋率工具相對java等語言較少，而對嵌入式軟件交叉編譯后的工具更是鳳毛麟角，所以嵌入式軟件的代碼覆蓋率就成為了一個(gè)難題。

2. 解決方法

2.1 覆蓋率工具

嵌入式開發(fā)一般使用GNU/GCC作為主要的編譯器，GCOV是一個(gè)GNU/GCC的配套測試覆蓋率的工具，是一款的免費(fèi)的代碼覆蓋率測試工具，而且可以結(jié)合LCOV生成美觀的html的測試報(bào)表。當(dāng)對目標(biāo)代碼進(jìn)行測試后，GCOV編譯插樁后的程序會(huì)監(jiān)視目標(biāo)代碼的執(zhí)行情況，記錄執(zhí)行的代碼行和未執(zhí)行的代碼行，并可以記錄某代碼行的執(zhí)行次數(shù)，為分析代碼的執(zhí)行效率提供依據(jù)。

LCOV是GCOV的一個(gè)擴(kuò)展工具，該擴(kuò)展工具由一套Perl腳本組成，使基于GCOV的文本式輸出實(shí)現(xiàn)了一下的增強(qiáng)的功能：

1.基于html的輸出，使用條形圖和不同的顏色來表。

2.支持大型項(xiàng)目，信息匯總頁面提供三個(gè)層次的代碼覆蓋細(xì)節(jié)信息，目錄試圖、文件試圖和源代碼試圖，允許快速瀏覽代碼覆蓋率數(shù)據(jù)。

2.2 原理簡介

2.2.1 概念解釋

下面對覆蓋率技術(shù)的常見概念進(jìn)行簡單介紹。主要是基本塊（Basic Block），基本塊圖（Basic Block Graph），行覆蓋率（line coverage）， 分支覆蓋率（branch coverage）等。

基本塊（Basic Block），“A basic block is asequence of instructions with only entry and only one exit. If any one of theinstructions are executed， they will all be executed， and in sequence fromfirst to last.” 這里可以把基本塊看成一行整體的代碼，基本塊內(nèi)的代碼是線性的，要不全部運(yùn)行，要不都不運(yùn)行。

基本塊圖（Basic Block Graph），基本塊的最后一條語句一般都要跳轉(zhuǎn)，否則后面一條語句也會(huì)被計(jì)算為基本塊的一部分。如果跳轉(zhuǎn)語句是有條件的，就產(chǎn)生了一個(gè)分支（arc），該基本塊就有兩個(gè)基本塊作為目的地。如果把每個(gè)基本塊當(dāng)作一個(gè)節(jié)點(diǎn)，那么一個(gè)函數(shù)中的所有基本塊就構(gòu)成了一個(gè)有向圖，稱之為基本塊圖（Basic Block Graph）。且只要知道圖中部分BB或arc的執(zhí)行次數(shù)就可以推算出所有的BB和所有的arc的執(zhí)行次數(shù)。

圖1 基本塊圖

打樁，意思是在有效的基本塊之間增加計(jì)數(shù)器，計(jì)算該基本塊被運(yùn)行的次數(shù)；打樁的位置都是在基本塊圖的有效邊上。

行覆蓋率（line coverage），源代碼有效行數(shù)與被執(zhí)行的代碼行的比率。

分支覆蓋率（branch coverage），有判定語句的地方都會(huì)出現(xiàn)2個(gè)分支，整個(gè)程序經(jīng)過的分支與所有分支的比率是分支覆蓋率。注意，與條件覆蓋率（condition coverage）有細(xì)微差別，條件覆蓋率在判定語句的組合上有更細(xì)的劃分。 2.2.2 編譯選項(xiàng)

gcc需要靜態(tài)注入目標(biāo)程序編譯選項(xiàng)，在編譯鏈接的時(shí)候加入2個(gè)選項(xiàng)（-ftest-coverage -fprofile-arcs ），編譯結(jié)束之后會(huì)生成 gcno文件，而經(jīng)過靜態(tài)注入的目標(biāo)程序在“正常結(jié)束”后，會(huì)在運(yùn)行目錄下產(chǎn)生gcda數(shù)據(jù)文件，通過gcov工具就可產(chǎn)生覆蓋率數(shù)據(jù)結(jié)果。

-ftest-coverage

讓編譯器生成與源代碼同名的gcno文件（note file），這種文件含有重建基本塊依賴圖和將源代碼關(guān)聯(lián)至基本塊及源代碼行號(hào)的必要信息。

-fprofile-arcs

讓編譯器靜態(tài)注入對每個(gè)源代碼行關(guān)聯(lián)的計(jì)數(shù)器進(jìn)行操作的代碼，并在鏈接階段鏈入經(jīng)態(tài)度libgcov.a，其中包含在程序正常結(jié)束時(shí)生成gcda文件的邏輯和記錄弧跳變的次數(shù)及其他的概要信息。

在最終可執(zhí)行程序進(jìn)入用戶代碼入口函數(shù)之前調(diào)用 gcov_init（）內(nèi)部函數(shù)初始化統(tǒng)計(jì)數(shù)據(jù)區(qū)，并將gcov_exit（）內(nèi)部函數(shù)注冊為代碼出口。

當(dāng)程序調(diào)用代碼出口正常結(jié)束時(shí)，gcov_exit（）內(nèi)部函數(shù)得到調(diào)用，其繼續(xù)調(diào)用__gcov_flush（）內(nèi)部函數(shù)輸出統(tǒng)計(jì)數(shù)據(jù)并生成gcda文件，若程序是一個(gè)狀態(tài)機(jī)程序不會(huì)自動(dòng)調(diào)用代碼出口時(shí)，需要增加定時(shí)器等方式調(diào)用__gcov_flush（）內(nèi)部函數(shù)強(qiáng)制輸出gcda文件。

2.3 實(shí)踐應(yīng)用

利用GCOV和LCOV工具可以進(jìn)行嵌入式代碼覆蓋率的統(tǒng)計(jì)，需要在Makefile或者Scons文件中做下面的編譯鏈接設(shè)置，增加 -fprofile-arcs -ftest-coverage 或者 –coverage，鏈接的時(shí)候，增加 -fprofile-arcs 或者 –lgcov。

為了上述幾個(gè)編譯選項(xiàng)的使用不影響到正常的編譯過程和效率?？梢允褂胢akefile中通過參數(shù)傳遞來支持覆蓋率產(chǎn)生，可以在makefile使用下面的方式：

#代碼覆蓋率編譯選項(xiàng)

ifeq （_CODE_COV，$（CODE））APP_FLAGS += -fprofile-arcs -ftest-coverageendif

#代碼覆蓋率鏈接選項(xiàng)

ifeq （_CODE_COV，$（CODE））LD_LINK_LIBFILTER += -fprofile-arcs -ftest-coverageendif

這樣，可以使用 make CODE=_CODE_COV 來引入這些編譯選項(xiàng)而不會(huì)影響到正常的編譯。

將目標(biāo)機(jī)生成的gcda文件放回至編譯目錄下，利用LCOV命令“l(fā)cov –directory. –capture –output file app.info”可以將gcno文件和gcda文件結(jié)合生成代碼覆蓋率結(jié)果info文件，再用LCOV命令“genhtml –o html app.info –title “LCOV–app.Info” –show-details -legend”將info文件和源代碼文件結(jié)合轉(zhuǎn)化為可視化網(wǎng)頁形式。

圖2 LCOV生成HTML結(jié)果

3. 高手總結(jié)方法

代碼覆蓋率等級(jí)

代碼覆蓋率可以通過多種方法測量。最常用的是測量以下一個(gè)或多個(gè)指標(biāo)：語句覆蓋率，分支 覆蓋率，修訂的條件/判定覆蓋率（MC/DC）。以下章節(jié)中將逐一詳解這些代碼覆蓋率。

語句覆蓋率

語句覆蓋率用來度量被測代碼中的可執(zhí)行語句是否被執(zhí)行到，它并不考慮循環(huán)或者條件語句， 只針對語句度量可執(zhí)行代碼。應(yīng)當(dāng)特別注意的是：“語句”并不等同于代碼行。

一般情況下，對于 C，C++，Java或Ada，分號(hào)代表語句結(jié)束。在某些情況下，一條語句會(huì)跨越多行代碼。語句覆蓋率可以有效度量可執(zhí)行代碼是否被執(zhí)行，但同時(shí)也有一定的局限性。

語句覆蓋率的局限

考慮如下圖1的代碼段：

int* p = NULL;

if （condition）

p = &variable;

*p = 123;

圖 1 – 語句覆蓋局限代碼示例

如果“condition”為true，那么就有可能達(dá)到100%的語句覆蓋，然而這個(gè)測試用例忽略了另一種情況：如果“condition”為假，程序?qū)⒁每罩羔?，因此，雖然語句覆蓋率是一個(gè)很好的度量指標(biāo)，它仍舊是入門級(jí)的代碼覆蓋率。理想情況下，即使“condition”為false，測試用例也應(yīng)當(dāng)被計(jì)算。

分支覆蓋率

分支覆蓋率用來度量程序中所有的判定和分支以及相應(yīng)的輸出是否都被測試執(zhí)行到，例如 “if”語句必須將“true”和“false”都考慮到以覆蓋所有的輸出。如果只有一個(gè)路徑被執(zhí)行，那么覆蓋率將被標(biāo)記為部分執(zhí)行。

和語句覆蓋率類似，分支覆蓋浪費(fèi)也有一些需要注意的細(xì)節(jié)，尤其在針對“惰性求值”的編程語言時(shí)，惰性求值是將代碼的求值操作延遲到需要結(jié)果值時(shí)再進(jìn)行的一項(xiàng)技術(shù)。

分支覆蓋率的局限

典型的情況是當(dāng)有復(fù)雜的布爾表達(dá)式的“惰性求值”出現(xiàn)時(shí)，如下圖2的代碼片段：

int* p = NULL;if （condition1 && （condition2 || function1（*p）））statement1;else

考慮“condition1”為假的情況，惰性求值將不會(huì)度量“condition2”或，此種情況同樣會(huì)導(dǎo)致代碼“if （condition1 && （condition2 || function1（*p）））”的分支覆蓋率計(jì)算錯(cuò)誤。

繼續(xù)考慮“condition1”和“condition2”都為真的情況。惰性求值將再次導(dǎo)致“function1（*p）” 不會(huì)被度量，也同樣會(huì)導(dǎo)致代碼“if （condition1 && （condition2 || function1（*p）））”的分支覆蓋率計(jì)算錯(cuò)誤。在此種情況下，有可能出現(xiàn)分支覆蓋率為100%但軟件中仍有潛在缺陷的情況。

修訂條件/判定覆蓋率（MC/DC）

MC/DC是一種特殊的分支覆蓋率，它不但會(huì)使用分支覆蓋率報(bào)告復(fù)雜條件下的true和false輸出，同時(shí)也會(huì)報(bào)告復(fù)雜條件下的全部分支條件輸出。

MC/DC最初由波音公司創(chuàng)建，用于航空軟件中DO-178B的A級(jí)認(rèn)證。通過對所有的子條件輸出分支的獨(dú)立證明，有效解決了惰性求值帶來的問題。

繼續(xù)討論代碼示例2，我們需要在“condition2”和“function1（*p）”固定的條件下驗(yàn)證“condition1” 的“true”和“false”判定分支，之后繼續(xù)固定“condition1”和“function1（*p）”驗(yàn)證“condition2” 的判定分支。

同樣的，讓我們在固定“condition1”和“condition2”的條件下討論 “function1（*p）”。在其他分支條件固定的情況下驗(yàn)證某個(gè)分支條件的“true”和“false”值稱作“MC/DC對”。MC/DC對一般 使用MC/DC真值表描述。表1就是一個(gè)MC/DC真值表示例。

在軟件開發(fā)的不同階段獲取覆蓋率

軟件測試有很多種類，本文將其簡要的分為三類：

》 系統(tǒng)/函數(shù)測試：測試集成后的整個(gè)應(yīng)用

》 集成測試：測試集成的子系統(tǒng)

》 單元測試：測試一個(gè)或多個(gè)文件或類

每個(gè)軟件項(xiàng)目在系統(tǒng)測試的過程中都會(huì)模擬最終用戶的操作對源代碼做一些系統(tǒng)測試。導(dǎo)致軟件發(fā)布后仍舊存在缺陷最重要的一個(gè)原因通常是程序在運(yùn)行過程中遇到了非預(yù)期的，即沒有測試的輸入組合。

很多軟件項(xiàng)目并不是沒有做集成測試或者單元測試。只是在完成集成測試或單元測試后，開發(fā)團(tuán)隊(duì)可能苦于為隔離程序中的單個(gè)或多個(gè)文必須所需的大量測試代碼量。

對于最嚴(yán)格的單元測試和集成測試來說，最終生成的測試代碼量比待測代碼量還要龐大是很經(jīng)常出現(xiàn)的情況。因此，這兩種級(jí)別的測試普遍適用于關(guān)鍵和高安全領(lǐng)域，例如：航空航天、醫(yī)療、交通運(yùn)輸、工業(yè)過程控制、高速汽車等。此類軟件中包含大量的嵌入式應(yīng)用軟件。

關(guān)鍵領(lǐng)域的結(jié)構(gòu)化測試流程一般會(huì)將需求的級(jí)別高低作為重點(diǎn)，代碼覆蓋率因而會(huì)在這種“基于需求”的測試中進(jìn)行分析。在許多項(xiàng)目中，高等級(jí)的需求最先被測試。此時(shí)代碼覆蓋率可以被用來檢測和報(bào)告所達(dá)到的覆蓋比例。

然而不幸的是，在系統(tǒng)測試和功能測試階段想要達(dá)到100%的代碼覆蓋率幾乎是不可能的。通常情況下系統(tǒng)測試和功能測試只能達(dá)到60%-70%的代碼覆蓋率，剩余30%-40%的代碼覆蓋率需要在單元測試和集成測試階段才能夠完成。

單元測試使用包含驅(qū)動(dòng)和樁的測試代碼隔離系統(tǒng)中的特定函數(shù)，同時(shí)使用測試用例模擬這些函數(shù)的執(zhí)行。這些所謂的“低等級(jí)測試需求” 對被測試代碼提供了更高的控制，可以提高先前執(zhí)行的系統(tǒng)測試覆蓋率（甚至能達(dá)到100%）。因此，在不同的測試之間共享覆蓋率數(shù)據(jù)是非常有必要的。

嵌入式環(huán)境中獲取覆蓋率帶來的挑戰(zhàn)

常言道“有得必有失”，在嵌入式環(huán)境獲取代碼覆蓋率的問題上，要付出的代價(jià)是對待測代碼額外的插樁工作。插樁是將額外的代碼添加到程序中，從而實(shí)現(xiàn)測試過程中的覆蓋率收集和分析操作。

由于插樁的相關(guān)操作將導(dǎo)致程序源代碼增多，進(jìn)而延長程序的執(zhí)行時(shí)間，因而需要預(yù)測插樁后的源代碼的覆蓋范圍預(yù)測，尤其當(dāng)測試實(shí)時(shí)嵌入式系統(tǒng)環(huán)境時(shí)，此項(xiàng)工作就更為重要。

事實(shí)上，要精準(zhǔn)的預(yù)測程序文件插樁的影響幾乎是不可能的。沒有算法支持（也不可能有）。每個(gè)系統(tǒng)都包含很多的變量，具有獨(dú)立唯一的復(fù)雜性。當(dāng)然，對于典型的示例系統(tǒng)來說，獲取一組準(zhǔn)確的估計(jì)還是可能實(shí)現(xiàn)的。

在共享環(huán)境中獲取覆蓋率數(shù)據(jù)

在嵌入式環(huán)境下管理代碼覆蓋率的主要問題在于如何配置內(nèi)存以容納額外的插樁代碼。VectorCAST針對大量示例代碼評估后發(fā)現(xiàn)添加了上文中提出的各種覆蓋率額外配置之后，源代碼量增長量普遍達(dá)到了10%。對于絕大多數(shù)的32位目標(biāo)板，這并不是一個(gè)很大的問題，但對于存儲(chǔ)容量有限的8位或者16位目標(biāo)板來說，幾乎可以肯定這會(huì)是一個(gè)問題。

為了降低可執(zhí)行文件的大小，各種各樣的代碼插樁技術(shù)被發(fā)明出來，針對不同大小的存儲(chǔ)區(qū)域有不同的數(shù)據(jù)采集技術(shù)。植入存儲(chǔ)器內(nèi)部的收集系統(tǒng)可以用于監(jiān)測被檢測到的代碼。這是插樁技術(shù)中保證使用最少RAM的關(guān)鍵技術(shù)。

4. 結(jié)語

通過以上的方法，可以統(tǒng)計(jì)C語言嵌入式代碼覆蓋率，統(tǒng)計(jì)結(jié)果為提高代碼質(zhì)量提供了有效的依據(jù)，也為衡量測試質(zhì)量提供了重要的指標(biāo)，并可以通過結(jié)果中的代碼行執(zhí)行次數(shù)進(jìn)行效率分析。

然而，代碼覆蓋率并不能保證執(zhí)行過的代碼質(zhì)量，也無法作為衡量生產(chǎn)力的指標(biāo)，代碼覆蓋率的數(shù)據(jù)只能表明測試用例的覆蓋代碼的強(qiáng)度，只有保證測試用例的正確通過和較高的代碼覆蓋率相結(jié)合才能真正意義上提升代碼的質(zhì)量。

代碼覆蓋率能不能提高軟件的可靠性？答案是肯定的，代碼的覆蓋率分析是保證軟件質(zhì)量最簡便易行的方法。

原文標(biāo)題：硬核：嵌入式代碼覆蓋率統(tǒng)計(jì)方法和經(jīng)驗(yàn)

文章出處：【微信公眾號(hào)：FPGA之家】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq