電子發(fā)燒友App
引 言
文件在現(xiàn)代電子設備中非常重要。處理器通過操作系統(tǒng)對不同類型的文件進行訪問，但是在嵌入式領域和低功耗定制 Linux解決方案中，相關的方案比較少見。很多嵌入式開發(fā)者習慣把數(shù)據(jù)放在代碼中，導致每次改動都需要升級固件代碼。JesFS嵌入式文件系統(tǒng)就是要解決這類問題——專門為小型低功耗設備設計。 電影《終結(jié)者2-審判日》中，機器人T 800(施瓦辛格)說過“我有詳細的文件”，以此來表明他是一個強大的戰(zhàn)斗機器人。這里說到了關鍵:文件無疑是高科技產(chǎn)品的關鍵元素! 這一點，同樣適用于所有的嵌入式系統(tǒng)。這篇文章將為您介紹一個合適的嵌入式文件系統(tǒng)。
文件與代碼
文件本質(zhì)是一個基本的容器，用來組織和傳輸各種類型的信息。大到服務器，小到單片機，都可以理解這些信息，操作系統(tǒng)針對不同的文件提供了接口。 在嵌入式系統(tǒng)領域和低功耗定制 Linux解決方案中，相關方案很少。在很多重要項目中，代碼和數(shù)據(jù)沒有分離，常常導致項目失敗。舉例來說，系統(tǒng)參數(shù)放在代碼里很容易，但是如果以后想修改，每次都必須升級固件。然而，現(xiàn)在通常的做法是在線更新。 筆者從業(yè)于高海拔地區(qū)的科學測量和相關儀器領域，幾個月前有一次相關的經(jīng)歷:在海拔3000米的山上，為一個老舊設備更改配置。經(jīng)過精疲力盡的挖掘后，筆者認為通過互聯(lián)網(wǎng)更新，比在-20 ℃的雪地中挖洞更新要容易得多。最終，筆者決定使用文件系統(tǒng)。 雖然有很多嵌入式文件系統(tǒng)，但這些文件系統(tǒng)大多只適配它們所在的領域。所以筆者決定自己開發(fā)一個。最終，JesFS(Jo’sembeddedFileSystem 的縮寫)誕生了，面向微小系統(tǒng)和極低功耗的應用。
JesFS
設計JesFS最重要的標準就是可靠性和小封裝，同樣重要的還有數(shù)據(jù)完整性和遠程固件升級。配合JesFS，還需要開發(fā)JesFS的bootloader，幫助處理器讀取 AES加密固件。bootloader 和JesFS完全獨立，這里不做討論。Jurgen Wickenhauser 目前全部精力都在 JesFS 上。JesFS 已經(jīng)是一個重要不可或缺的工具。JesFS在GPL v3[1]協(xié)議下開源。
參考實例
JesFS使用標準C編譯器編譯。接下來將會在TI的CC1310 開發(fā)板上展示一些功能。CC1310 基于32位ARM Cortex - M3架構(gòu)，具有868/915 MHz無線傳輸功能。
CC13xx/26xx系列處理器的Launchpad開發(fā)平臺物美價廉，配備TI的CCSTUDIO[3]IDE，可以進行源代碼調(diào)試。CC13xx/26xx開發(fā)平臺配備了一片1MB的串行Flash存儲器，大小只有2mmx3mm! 免費的TI-RTOS可以提供一個工業(yè)級的實時操作系統(tǒng)以及TI大量的技術支持。JesFS 的源代碼既可以在Launchpad開發(fā)平臺上編譯，也可以使用 Windows或Linux平臺的標準C編譯器進行編譯，但是需要具有模擬Flash存儲器驅(qū)動的支持。
小型 Flash存儲芯片
嵌入式系統(tǒng)通常不需要太多的存儲空間，1~16 MB 就足夠了。Flash存儲芯片現(xiàn)在可以制造得非常?。? MB Flash可以小到1.24 mmx1.29 mm（見圖2）。
JesFS文件系統(tǒng)本身占用的空間非常小，僅僅占用RAM的200字節(jié)就可以運行得很好。還有一方面是經(jīng)濟原因：許多大型文件系統(tǒng)使用RAM作為緩存，不僅很復雜，占用很多的存儲空間，而且切換操作模式（比如休眠或關機）會很慢。Jes-FS設計之初就考慮到低功耗的問題，可以在幾毫秒內(nèi)實現(xiàn)休眠和喚醒。而且，串行存儲器在睡眠模式下消耗電流小于1μA，非常適合電池供電設備。
針對 loT 的獨有功能
JesFS的一個基本特性是：可以把嵌入式系統(tǒng)的文件通過互聯(lián)網(wǎng)自動地鏡像存儲到服務器，服務器因此具有嵌入式文件系統(tǒng)的一個實時更新的副本。這個特性也可以用在分鐘級獲取數(shù)據(jù)的場景，但是為了降低功耗，一般不會頻繁通過互聯(lián)網(wǎng)對比更新服務器副本（通常幾小時一次）。 即使傳輸了新文件、遠程升級了固件，只要有需要，JesFS就可以通過特殊標志位（時間戳和CRC32 哈希校驗）很容易地從服務器上找回文件。如果展開這些特殊的用法將有無數(shù)種可能的應用場景。所有的特性和腳本，作者都經(jīng)過仔細測試。關于FesFS文件系統(tǒng)功能的詳細描述，可以參考相關鏈接[1]。
解決目標：未關閉的文件
對大多數(shù)文件系統(tǒng)來說，如果沒有打開文件的寫入權限，就只能讀文件。那么問題來了：一個異?？赡軐е挛搓P閉文件，甚至最壞的情況下導致數(shù)據(jù)丟失。而JesFS不會出現(xiàn)這種情況，文件在任何時候都可以打開讀寫，而且不會導致數(shù)據(jù)丟失。這個特性非常適合日志文件，例如，嵌入式系統(tǒng)存儲新數(shù)據(jù)，同時服務器更新到最新數(shù)據(jù)。
JesFS 的限制
JesFS甩掉沉重的負擔后，訪問次數(shù)還沒有調(diào)整到最優(yōu)。未來還將對未關閉文件做一些小的調(diào)整和限制。因為是針對資源有限的小型嵌入式系統(tǒng)設計的簡單文件系統(tǒng)，所以對文件名長度進行了限制，最多21個字符。為了減輕CPU負擔，也沒有實現(xiàn)索引數(shù)據(jù)。總體來說，就是一個扁平化的文件系統(tǒng)。針對小型系統(tǒng)的實際應用，這些限制不應引起任何相關的限制。JesFS文件系統(tǒng)的簡潔和易用，可以大大提高效率。作者本人就是最嚴格的測試者。
串行 Flash存儲器
設計軟件細節(jié)之前，先介紹幾個關于Flash存儲器的基本知識。Flash存儲器有許多種類型，在嵌入式系統(tǒng)領域主要會用到串行NOR Flash芯片。為了能讓JesFS更好地適配硬件，有些需要詳細說明，同時也涉及到一些底層驅(qū)動的開發(fā)。 總體來說，幾乎所有相關的Flash存儲器都有類似的結(jié)構(gòu)，只是在容量、靜態(tài)電流、最大時鐘速率、數(shù)據(jù)位數(shù)方面有所不同。所有串行 NOR Flash芯片都有6個共同特性： ①空存儲器，默認存儲位為‘1’; ②寫入數(shù)據(jù)時，根據(jù)需要把存儲位‘1’設置成‘0’; ③相反，擦除操作把數(shù)據(jù)位從‘0’恢復成‘1’; ④每一個寫操作可以寫入1~256字節(jié)數(shù)據(jù)，大概需要1 ms; ⑤數(shù)據(jù)以塊或扇區(qū)或全部擦除，扇區(qū)通常4KB，擦除一個扇區(qū)需要20~200 ms（扇區(qū)擦除通常很少用到）; ⑥擦除操作是有次數(shù)限制的，通常不超過100 000次。 訪問串行 Flash 芯片很容易，只需要進行4步操作（見圖): ①SELECT引腳電平從1到0后的幾納秒內(nèi)，芯片激活； ②通過CLK引腳（時鐘）和DIN引腳（數(shù)據(jù)）寫入數(shù)據(jù)和命令； ③通過CLK（時鐘）引腳和DOUT（數(shù)據(jù)／狀態(tài)）引腳讀取數(shù)據(jù)和狀態(tài)； ④SELECT 引腳電平從0到1，結(jié)束操作。
圖? 8腳串行 Flash 引腳分配
串行 Flash 芯片最大時鐘速率通常很高（>50MHz)，多數(shù)微處理器的硬件驅(qū)動不能充分利用。這里參考設計平臺使用的CC1310處理器的12 MHz時鐘速率，可以達到很不錯的1MB/s的數(shù)據(jù)吞吐量。 下面推薦適用于小型系統(tǒng)的通用存儲芯片，雖然有些有兼容的替代芯片，但替代芯片功耗可能會比較高： ◆MX25R8035F (1 MB) to MX25R1635F (16 MB) ◆W25Q80DL (1 MB) to W25Q128JV (16 MB) ◆GD25Q16 (2 MB)?
黑盒Demo：家用飛行記錄儀
許多嵌入式設備在幾年的生命周期內(nèi)都可以無錯誤運行，但偶爾也會產(chǎn)生錯誤。產(chǎn)生錯誤時，我們會問：“發(fā)生了什么？”要回答這個問題，我們需要有足夠的歷史日志數(shù)據(jù)分析和診斷。舉例來說，內(nèi)部參數(shù)（如溫度、電壓、濕度）是否發(fā)生了改變？是否有人進行了調(diào)整？之前是否有過類似的問題？這些問題與飛機上的黑盒子相似。 然而，嵌入式系統(tǒng)通常沒有足夠的空間做這些。不過，JesFS文件系統(tǒng)的未關閉文件可以穩(wěn)定、高效地記錄診斷數(shù)據(jù)。JesFS可以避免產(chǎn)生僵尸數(shù)據(jù)，即使是在復位或斷電的極端情況下，也可以寫入數(shù)據(jù)。 依靠兩個文件來實現(xiàn)這一目的： ◆ 主文件Data. pri 可以寫入最大數(shù)據(jù)長度為HIS-TORY定義的長度； ◆ 改名為輔助名Data. sec; ◆ 新創(chuàng)建的輔助文件替換原有的輔助文件。 通過定義HISTORY，可以得到特定長度的歷史數(shù)據(jù)，從而確保歷史數(shù)據(jù)的歷史記錄數(shù)量是一個常量，且不會超過2倍的歷史記錄。通過檢索數(shù)據(jù)來獲得正確的順序，首先是Data. sec，然后是 Data. pri。 可以在相關鏈接［1］中找到針對各種編譯器（PC和嵌入式）的BlackBox演示的完整的文檔化源代碼，包括Jes-FS的源代碼文件。這里打印的清單顯示了代碼的摘錄：
***************************************
*log_blackbox(char * logtext，?uint16_t len)
*Thisfunktion logs one line to the the history
*****************************************
int16_tlog_blackbox(char* logtext，?uint16_tlen){
FS_DESCfs_desc，fs_desc_sec; //2 JesFs file descriptors int16_t res;
res=fs_start(FS_START_RESTART);
//(fast) WAKE JesFs (might be sleeping)if(res) return res;
//Flags (seedocu) : CREATE File if not exists and open in
//RAW mode，(RAW needed because in RAW -Mode file is not truncated if existing)
res=fs_open( &fs_desc，"Data，?pri"，SF_OPEN_CREATE SF_OPEN_RAW);
if(res)return res;
//Place (internal) file pointer to the end of the file to allow write fs_read(&fs_desc，NULL，0xFFFFFFFF);
//(dummy) read as much as possible
//write the new data (ASCII，?from function rguments) to
//the file
res=fs_write(&fs_desc，logtext，tlen);
if(res) return res;
//Show what was written
uart_printf("Pos:%u Log: %s"，fs_desc. file_len，?"logtext);
//Now make a file shift if more data than defined in HISTORY if(fs_desc. file_len>= HISTORY){
uart_printf("Shift 'Data. pri' ->'Data. sec' ");
//Optionally delete and (butCREATE in any case) backup file
res= fs_open (&fs_desc_sec，"Data. sec"，?SF_OPEN if(res)return res;CREATE);
if(res) return res;
//rename (full) data file to secondary file
res=fs_rename( &fs_desc，?&fs_desc_sec);
if(res) return res;
｝
fs_deepsleep(); ?//Set Filesystem to UltraLowPowerMode
return0; ?//OK
驅(qū)動程序基礎
JesFS使用上層和底層驅(qū)動程序。底層驅(qū)動程序針對串行Flash，再次被劃分為通用命令 JesFS_ml.c和串行SPI的硬件控制部分（這里是jesfs_tirto. c)。上層驅(qū)動程序在相關鏈接［1］中有詳細描述。 閃存的處理非常簡單（大多數(shù)閃存芯片使用的特殊命令在這里不使用），但是很少有命令是相關的，幸運的是，對于幾乎所有可用的串行 Flash 芯片都是相同的。對于更大的容量（≥32MB)，也只是把地址從3字節(jié)擴展到了4字節(jié)。 源代碼文件更精確地記錄了命令。以下是十六進制記數(shù)法的命令概述。 9Fh：讀取一個3字節(jié)的ID（十六進制），其中對制造商、類型和容量（十六進制2的乘方）進行了編碼。對于在CC1310中的MX25R8035芯片，這個ID是“C22814”，其中C2h=Macronix，28h=Type， 14h=20=220=1 MB。 B9h：讓閃存芯片進入深度睡眠。 ABh：在5~50 μs內(nèi)喚醒閃存芯片。 03h：讀操作。首先，準備讀取3字節(jié)地址（對32 MB 的容量來說是4字節(jié)），讀取完數(shù)據(jù)后，cs＃變高。 06h：必須在每次寫／刪除操作之前發(fā)送。 02h：寫操作。首先發(fā)送3或4個地址字節(jié)，然后是1~256字節(jié)數(shù)據(jù)，不超過256字節(jié)。 20h：刪除扇區(qū)。首先發(fā)送3或4個地址字節(jié)，然后刪除相關的4 KB扇區(qū)。 05h：測試之前的寫／刪除命令是否已經(jīng)完成。
Flash中的組織結(jié)構(gòu)
實現(xiàn)的細節(jié)和圖形可以在JesFS[1]的文檔和源代碼中找到，這里只畫了結(jié)構(gòu)。JesFS將閃存分為3種不同的扇區(qū)類型。每個邏輯扇區(qū)與閃存芯片中的一個物理4KB扇區(qū)對齊。因此，一個容量為1 MB的閃存芯片最多可以存儲255個文件。 扇區(qū)0具有特殊的意義，因為它用作文件索引。每個索引條目占用4個字節(jié)。因此，可以將索引視為一個包含1024個"無符號長整數(shù)"的數(shù)組。對于0扇區(qū)，必須遵守以下規(guī)定： ◆ 索引扇區(qū)0僅在格式化期間刪除； ◆ 前3個條目包含格式化信息 Magic value、Flash ID （參見命令9Fh）和格式化日期（從 1970.1.1開始的Unix秒數(shù)），F(xiàn)FFF FFFFh值被計算為無效／未格式化； ◆ 其余的1021項是文件heads的起始地址，所有這些項必須能被212=4096（扇區(qū)大?。┱↗esFS 會檢查）。理論上，最多可以有1021個文件。 對于1至n扇區(qū)有5種可能： ◆ 扇區(qū)為空（包含F(xiàn)Fh值的完整字節(jié)）; ◆ 扇區(qū)是活躍文件的頭； ◆ 扇區(qū)是指向已刪除文件的頭； ◆ 扇區(qū)是活躍文件的一部分； ◆ 扇區(qū)是活躍文件中已刪除的部分。 head是索引指向的扇區(qū)。因此，對heads進行特殊處理是很重要的，因為只有在格式化時才會刪除索引中的值。每個扇區(qū)總是以3個（或12個 heads)"unsigned long"類型的值開始： ◆ 使用magic value（頭，文件或空）; ◆ 此區(qū)塊的所有者（引用頭部，如果該塊本身是頭部，則引用FFFF FFFFh值）; ◆指向該文件的下一個區(qū)塊的指針，或者FFFF FFFFh（如果這是鏈的最后一個塊）; 然后要么是文件數(shù)據(jù)，要么是一個head: ◆文件長度，以字節(jié)或FFFF FFFFh表示； ◆ 可選的CRC32 哈希校驗（如果在CRC32 模式下寫入并關閉的）; ◆ 文件的創(chuàng)建日期（自1970.1.1起，以Unix秒為單位）; ◆ 文件名稱（最多21個字符，不包括最終字符0h); ◆文件的打開標志（1字節(jié)）; ◆ 一個被保留的空字節(jié)。 一個 head總是占用48個字節(jié)，一個普通的數(shù)據(jù)扇區(qū)占用12個字節(jié)，起始部分是管理信息。其結(jié)構(gòu)如圖所示。
圖 索引總是指向文件頭的扇區(qū)0?
刪除扇區(qū)僅僅做個標記。所使用的Magic values是這樣選擇的：通過使用“0”進行額外的覆蓋（發(fā)生得非?？欤﹣碇鲃觿h除狀態(tài)。只有當一個扇區(qū)確實需要，并且沒有空閑扇區(qū)的時候，才能通過命令20h刪除，這需要更多的時間。
磨損平衡和未關閉文件
使用Flash時，所有扇區(qū)的使用頻率都應該相等，這一點非常重要，因為通常只能擦寫約10萬次。所以你可以在很短的時間內(nèi)在一個循環(huán)中“殺死”一個扇區(qū)。這種避免策略稱為“磨損平衡”。對于 JesFS，這意味著一個文件（由于索引中的固定條目）最多可以被刪除100 000次。乍一看，擦寫次數(shù)似乎很多，但對于嵌入式系統(tǒng)來說，這個限制在某些應用程序中肯定是有問題的。另一方面，應該清楚，即使每小時每個扇區(qū)擦寫一次，也會經(jīng)過11年。對大多數(shù)項目來說，還是很充裕的。 為了盡可能少地刪除扇區(qū)，讓活躍或使用過的文件保持打開也是一個辦法；被刪除的字節(jié)的值總是FFh。如果有問題的文件從未使用這個值（例如，只保存 ASCII數(shù)據(jù)或用轉(zhuǎn)義序列替換FFh)，也可以通過簡單讀?。ㄗ疃嘁粋€FFh字符）來確定文件的結(jié)尾。JesFS有一個非?？斓淖映绦颍梢栽趲缀撩雰?nèi)找到一個16 MB文件的結(jié)尾。
CRC-32哈希和數(shù)據(jù)完整性
只有很少的文件經(jīng)常更改。因此，JesFS在寫（和讀）一個文件時可以加CRC-32校驗，與“文件關閉”中頭部的長度一起記錄下來。通過這種方式，可以在任何時候通過簡單地讀取文件來檢查文件的完整性。所使用的CRC-32算法是行業(yè)標準（ISO 3309等），甚至得到了PHP（一種常見的服務器腳本語言）的支持。 在JesFS開始時（或者在系統(tǒng)每次喚醒之后）執(zhí)行一個全面的測試來檢查JesFS的基本完整性。JesFS非常注意 bug。演示的源代碼中還包含一項功能，可以檢查完整的JesFS“心臟和腎臟”（即所有扇區(qū)和文件）。
引導程序和固件升級
由于JesFS的結(jié)構(gòu)非常簡單，即使是一個簡單的引導程序也可以輕松地讀取文件并測試完整性。但是，引導程序通常只綁定到特定的CPU架構(gòu)或控制器類型。
測試 JesFS
測試JesFS的最簡單方法是使用CC13xx/26xx系列的launchpad開發(fā)平臺，這些板卡大約30歐元。在Github 上的JesFS文檔中，還可以找到一個簡單的控制臺應用程序的手冊。 除此之外，還可以在運行 Windows或Linux的PC上編譯JesFS，在RAM中模擬Flash芯片。生成的image文件完全兼容Flash芯片。如果微控制器的數(shù)據(jù)格式是lit-tle-endian的，可以很容易地通過編程器進行傳輸或讀取，大多數(shù) ARM SoC（如 MSP430、MSP432等）都支持。
下一步做什么？
根據(jù)讀者的反饋，這個報告僅僅是一個開始。文件系統(tǒng)不是一件簡單的事情，但是如果JesFS能夠成為一種通用的工具，作者將會非常高興，并深信它具有驚人的潛力。 當然，JesFS不僅限于CC13xx/26XX系列的控制器，而且在原則上幾乎適用于 16位以上的所有處理器。Jurgen Wickenhauser 目前正在為MSP430系列移植Jes-FS，還有許多可以想到的與JesFS結(jié)合的項目，特別是無處不在的物聯(lián)網(wǎng)提供了無限的可能性。如果你真的感興趣，可以通過作者的電子郵件（joembedded@gmail. com)聯(lián)系。
相關鏈接
[1] JesFS V1.1 auf Github: https://github. com/joem-bedded/JesFS
[2] TI-Launchpad: www,ti,com/tool/LAUNCHXL-CC1310
[3] CCSTUDIO:www.ti. com/tool/CCSTUDIO
[4] Macronix Flash: www. macronix. com/en - us/prod-ucts/NOR - Flash/Serial-NOR - Flash
Von Wickenhauser：從小就對電子產(chǎn)品充滿熱情。在學習了電氣工程之后，于 1992 年把愛好變成了職業(yè)，在德國南部從事科學環(huán)境測量儀器方面的開發(fā)工作。
作者：Von Wickenh?user
譯者：透鏡
審核編輯：黃飛
?
工商網(wǎng)監(jiān)
評論