面向嵌入式視頻處理平臺(tái)的Linux移植

面向嵌入式視頻處理平臺(tái)的Linux移植

　0引言

　　嵌入式系統(tǒng)開發(fā)已經(jīng)進(jìn)入32位時(shí)代，在當(dāng)前數(shù)字信息技術(shù)和網(wǎng)絡(luò)技術(shù)高速發(fā)展的后PC時(shí)代，嵌入式系統(tǒng)已經(jīng)廣泛地滲透到科學(xué)研究、工程設(shè)計(jì)、軍事技術(shù)等各個(gè)方面。

　　嵌入式系統(tǒng)通常由硬件和軟件兩個(gè)大部分組成。其硬件部分的核心部件就是各類嵌入式微處理器，并配置存儲(chǔ)器、I／O設(shè)備、通信模塊等必要的外設(shè)。目前市場上主流銷售的32位嵌入式處理器有MOTOROLA、MIPS、ARM等系列，其中ARM以其體積小、成本低、功耗低、性能高等特點(diǎn)成為嵌入式系統(tǒng)設(shè)計(jì)的首選。

　　軟件部分一般由嵌入式操作系統(tǒng)和應(yīng)用軟件組成。嵌入式操作系統(tǒng)是一種支持嵌入式應(yīng)用的操作系統(tǒng)軟件，它負(fù)責(zé)全部軟硬件資源的分配和調(diào)度、控制協(xié)調(diào)等活動(dòng)。從20世紀(jì)80年代末開始，陸續(xù)出現(xiàn)了很多典型的嵌入式操作系統(tǒng)，如Linux、μC／OS、WindowsCE等，其中使用最廣泛、最受歡迎的是Linux，這是由于其源代碼公開、可移植性好等優(yōu)點(diǎn)。

　　1嵌入式視頻處理平臺(tái)和Linux系統(tǒng)移植

　　本文開發(fā)的嵌入式視頻處理平臺(tái)在達(dá)芬奇(Da-Vinci)數(shù)字媒體技術(shù)平臺(tái)TMS320DM*6上進(jìn)行的。此平臺(tái)是以嵌入式處理器ARM為中心，由存儲(chǔ)器、I／O設(shè)備、通信模塊以及電源等必要的輔助接口組成。它的工作流程如圖1所示。攝像頭將視頻信號(hào)傳輸進(jìn)來后，再通過視頻采集卡轉(zhuǎn)換成數(shù)字信號(hào)然后送人TMS320DM*6，經(jīng)過處理后通過視頻輸出接口在LCD(液晶顯示器)上顯示，在此過程中可以由USB口上所接的操縱桿進(jìn)行控制，以及與存儲(chǔ)設(shè)備進(jìn)行存取操作。

　　此嵌入式視頻處理平臺(tái)主要應(yīng)用于視頻和圖像的處理，如進(jìn)行視頻跟蹤、圖像的編解碼等。

　　本文詳細(xì)闡述如何在TMS320DM*6平臺(tái)上進(jìn)行Linux系統(tǒng)移植，形成了一個(gè)完整的Linux移植體系，為后續(xù)在此平臺(tái)上的開發(fā)搭建了一個(gè)良好的平臺(tái)，其移植流程如圖2所示。

　　2交叉編譯環(huán)境的建立

　　開發(fā)一個(gè)嵌入式Linux系統(tǒng)，首先要建立良好的交叉編譯環(huán)境。所謂交叉編譯環(huán)境，是由編譯器、連接器和解釋器組成的綜合開發(fā)環(huán)境。交叉編譯是嵌入式系統(tǒng)開發(fā)過程中的一項(xiàng)重要技術(shù)，它的主要特征是某機(jī)器中執(zhí)行的程序代碼不是在本機(jī)編譯生成，而是由另一臺(tái)機(jī)器編譯生成。一般把前者稱為目標(biāo)機(jī) (tar-get)，后者稱為宿主機(jī)(host)。在宿主機(jī)上編譯好適合目標(biāo)機(jī)運(yùn)行的代碼后，通過宿主機(jī)到目標(biāo)機(jī)的調(diào)試通道將代碼下載到目標(biāo)機(jī)，然后由運(yùn)行于宿主機(jī)的調(diào)試軟件控制代碼在目標(biāo)機(jī)上運(yùn)行調(diào)試，其交叉編譯開發(fā)模型如圖3所示。

　　建立ARM的交叉編譯環(huán)境主要用到的開發(fā)工具有：binutils、gcc、glibc。其中binutils是二進(jìn)制文件的處理工具，它主要包含了一些輔助開發(fā)工具，例如obj-dump顯示反匯編碼、nm列出符號(hào)表、readelf顯示elf文件信息及段信息等。這些工具在嵌入式開發(fā)初期，尤其是移植調(diào)試操作系統(tǒng)時(shí)非常有用；gcc是用來編譯內(nèi)核代碼的工具，可以編譯匯編語言和C語言的程序，生成ARM的代碼；glibc是一個(gè)提供系統(tǒng)調(diào)用和基本函數(shù)的C語言庫，所有動(dòng)態(tài)鏈接的程序都要用到它。將這些開發(fā)工具包下載到宿主機(jī)上進(jìn)行編譯、安裝，即可創(chuàng)建ARM的交叉編譯環(huán)境。

　　3BootLoader的設(shè)計(jì)

　　BootLoader即引導(dǎo)加載程序，是在操作系統(tǒng)內(nèi)核運(yùn)行之前運(yùn)行的一段程序。它建立起操作系統(tǒng)運(yùn)行的環(huán)境，包括初始化硬件、建立存儲(chǔ)空間映射和傳遞給操作系統(tǒng)一些基本的配置參數(shù)等。因此，Bootloader是非常重要的組成部分，它獨(dú)立于操作系統(tǒng)，必須由用戶自己設(shè)計(jì)，而且其實(shí)現(xiàn)高度依賴于硬件。在系統(tǒng)存儲(chǔ)的空間分配結(jié)構(gòu)中BootLoader、內(nèi)核啟動(dòng)參數(shù)、內(nèi)核映像和根文件系統(tǒng)映像的關(guān)系如圖4所示。

　　BootLoader的作用是正確地調(diào)用內(nèi)核來執(zhí)行。系統(tǒng)開機(jī)后，執(zhí)行的第1條指令是從Flash的0x00地址開始的，BootLoader 程序就是放在此。由于它是直接操作硬件且依據(jù)硬件環(huán)境不同而代碼不同，所以適合用匯編語言寫，以達(dá)到短小精悍執(zhí)行效率高的目的；內(nèi)核從Flash復(fù)制到 SDRAM時(shí)，采用C語言實(shí)現(xiàn)，能實(shí)現(xiàn)較復(fù)雜的功能，因此BootLoader的設(shè)計(jì)分為兩個(gè)階段。用匯編語言實(shí)現(xiàn)的放在第1階段，主要完成硬件初始化，設(shè)置SDRAM，然后把Boot-Loader從Flash復(fù)制到SDRAM的起始地址，即2M處，最后內(nèi)存重映射，F(xiàn)lash地址從0x00- 0xlff映射成0x1000000-0x11fff，SDRAM地址0x200000-0xllfff映射成0x00-0xfff，至此控制權(quán)交給了用 C語言實(shí)現(xiàn)的loaderkernel()函數(shù)，就進(jìn)入了第2階段。第2階段是用C語言實(shí)現(xiàn)的，它主要完成內(nèi)核從Flash到SDRAM的復(fù)制，然后控制權(quán)交給Kernel，流程如圖5所示。這樣設(shè)計(jì)代碼會(huì)具有很好的可讀性和可移植性。

　　本系統(tǒng)BootLoader的第1階段設(shè)計(jì)包括：

　　a)關(guān)閉看門狗程序，屏蔽所有中斷；

　　b)設(shè)置處理器時(shí)鐘和工作頻率，TMS320-DM*6中ARM9的工作頻率為300 MHz；

　　c)初始化外部寄存器；

　　d)初始化堆棧指針；

　　e)復(fù)制BootLoader的第2階段到RAM空間中，使用一條跳轉(zhuǎn)語句跳轉(zhuǎn)到第2階段的C程序如入口處。

　　第2階段用C語言編寫，具體步驟如下：

　　a)設(shè)置通用I／O口參數(shù)；

　　b)初始化內(nèi)存映射和內(nèi)存管理單元；

　　c)初始化mtd設(shè)備；

　　d)復(fù)制Flash中的Kernel映像和根文件系統(tǒng)映像到RAM空間中；

　　e)跳轉(zhuǎn)到內(nèi)核的第1條指令處，跳轉(zhuǎn)時(shí)需要滿足這些條件：R0=0，R1=機(jī)器類型ID，R2=啟動(dòng)參數(shù)，同時(shí)禁止中斷(IRQ和FIQ)，CPU設(shè)置為保護(hù)模式，關(guān)閉MMU和數(shù)據(jù)Cache。

　　這樣，本系統(tǒng)的BootLoader就設(shè)計(jì)完成了，下面就可以進(jìn)行Linux內(nèi)核移植。

　　4 Linux內(nèi)核移植

　　Linux內(nèi)核主要由5個(gè)子系統(tǒng)構(gòu)成：

　　a)進(jìn)程調(diào)度(Process Scheduler)：負(fù)責(zé)控制進(jìn)程對(duì)CPU的使用。

　　b)內(nèi)存管理(Memory Manager)：標(biāo)準(zhǔn)Linux的內(nèi)存管理支持虛擬內(nèi)存，進(jìn)程代碼、數(shù)據(jù)和堆棧的總量可以超過實(shí)際內(nèi)存的大小。

　　c)虛擬文件系統(tǒng)(Virtual File System)：隱藏了不同硬件的具體細(xì)節(jié)，為所有設(shè)備提供統(tǒng)一的接口。

　　d)網(wǎng)絡(luò)接口(Network Interface)：負(fù)責(zé)支持標(biāo)準(zhǔn)的網(wǎng)絡(luò)通信協(xié)議和各種網(wǎng)絡(luò)硬件設(shè)備。

　　e)進(jìn)程間通信(Inter-Process Communica-tion)：支持進(jìn)程間各種通信機(jī)制。

　　根據(jù)嵌入式系統(tǒng)的特點(diǎn)，要使嵌入式Linux系統(tǒng)具備一定的功能且保持小型化，應(yīng)包括啟動(dòng)加載程序、內(nèi)核、初始化進(jìn)程，以及硬件驅(qū)動(dòng)程序、文件系統(tǒng)、必要的應(yīng)用程序等。

　　不管是哪一款嵌入式處理器，完成移植工作就要修改所有與體系結(jié)構(gòu)有關(guān)的代碼，主要指內(nèi)核人口、處理器初始化、I／O口映射等。具體操作如下：

　　(1)修改配置文件

　　a)打開根目錄下的Makefile文件，指定目標(biāo)平臺(tái)ARCH=arm；指定交叉編譯器CROSS_COMPILE=arm-linux-gcc；

　　b)打開／arch／arm目錄下的Makefile文件，添加內(nèi)核起始運(yùn)行地址，即image.ram應(yīng)下載的位置，該位置一般在RAM區(qū)起始地址偏移0x8000處；

　　c)打開／arch／arm／boot目錄下的Makefile文件，指定Bootloader的壓縮內(nèi)核解壓后數(shù)據(jù)的輸出地址。

　　(2)編譯Linux內(nèi)核

　　在完成上述工作后，開始編譯Linux內(nèi)核，生成目標(biāo)代碼。在內(nèi)核源代碼目錄下依次鍵入以下命令：

　　a)make clean：清除以前構(gòu)造內(nèi)核時(shí)生成的所有目標(biāo)文件、模塊和臨時(shí)文件；

　　b)make dep：搜索Linux輸出與源代碼之間的依賴關(guān)系，并以此生成依賴文件；

　　c)make menuconfig：調(diào)用菜單式的配置內(nèi)核界面，內(nèi)核配置的選項(xiàng)非常多，根據(jù)自己系統(tǒng)的具體情況選擇合理的配置，在內(nèi)核配置時(shí)選上相應(yīng)型號(hào)的硬件；

　　d)make zImage：編譯內(nèi)核，生成壓縮的Linux內(nèi)核目標(biāo)代碼zImage文件；

　　e)make modules：編譯塊模塊驅(qū)動(dòng)程序，凡是在menuconfig中被選為的都會(huì)在這條命令運(yùn)行時(shí)被編譯。

　　至此，已編譯好能在本系統(tǒng)上運(yùn)行的Linux內(nèi)核。

　　(3)創(chuàng)建JFFS2文件系統(tǒng)

　　文件系統(tǒng)是Linux系統(tǒng)的重要組成部分。本系統(tǒng)使用mkfs.jffs2工具創(chuàng)建JFFS2文件系統(tǒng)。首先建立／bin、／sbin等目錄，然后復(fù)制命令工具到／bin文件夾，復(fù)制系統(tǒng)控制程序到／sbin目錄下，復(fù)制應(yīng)用程序運(yùn)行時(shí)所需的庫到／lib，庫文件可從PC機(jī)的交叉編譯工具安裝目錄下復(fù)制。最后鍵人命令：mkfs.jffs2-o jffs2root.jffs2，生成JFFS2根文件系統(tǒng)。

　　上述工作完成后，將BootLoader、Linux內(nèi)核、文件系統(tǒng)燒寫到TMS320DM*6的Flash中，這樣就能運(yùn)行Linux系統(tǒng)了。

　　5設(shè)備驅(qū)動(dòng)程序開發(fā)

　　5.1 Linux設(shè)備驅(qū)動(dòng)程序開發(fā)步驟

　　Linux系統(tǒng)設(shè)備分為字符設(shè)備、塊設(shè)備和網(wǎng)絡(luò)設(shè)備3種。其設(shè)備驅(qū)動(dòng)的開發(fā)主要包括：

　　a)在驅(qū)動(dòng)程序源文件中定義file_opera-tions結(jié)構(gòu)，并編寫出設(shè)備需要的各個(gè)操作函數(shù)，對(duì)于設(shè)備不需要的操作函數(shù)用NULL初始化，這些操作函數(shù)將被注冊到內(nèi)核中。

　　b)定義一個(gè)初始化函數(shù)，在Linux初始化時(shí)會(huì)調(diào)用此函數(shù)。此函數(shù)包含：初始化驅(qū)動(dòng)程序要用到的硬件寄存器；初始化與設(shè)備相關(guān)的參數(shù)；注冊設(shè)備；注冊設(shè)備使用的中斷和函數(shù)；其他一些初始化工作。

　　c)對(duì)于驅(qū)動(dòng)程序的使用，可以進(jìn)行靜態(tài)編譯，也可以進(jìn)行動(dòng)態(tài)編譯。靜態(tài)編譯是指將設(shè)備驅(qū)動(dòng)程序添加到內(nèi)核中，動(dòng)態(tài)編譯是指將設(shè)備驅(qū)動(dòng)程序編譯成驅(qū)動(dòng)模塊。

　　本嵌入式系統(tǒng)主要用于視頻處理，涉及到的外設(shè)主要是顯示設(shè)備和輸入設(shè)備。這里采用的顯示設(shè)備是LCD，而輸入設(shè)備是通過USB接口與系統(tǒng)相連的。

　　5.2 LCD顯示驅(qū)動(dòng)程序開發(fā)

　　LCD的設(shè)備驅(qū)動(dòng)程序?qū)儆谧址O(shè)備的驅(qū)動(dòng)，應(yīng)按照字符設(shè)備的規(guī)則編寫。在Linux下進(jìn)行LCD顯示用Framebuffer技術(shù)，這是提取圖形的設(shè)備，是用戶進(jìn)入圖形界面很好的接口。Linux內(nèi)核根據(jù)硬件描述抽象出Framebuffer設(shè)備，供用戶態(tài)的進(jìn)程直接進(jìn)行寫屏?？梢詫?Framebuffer看成是顯示內(nèi)存的一個(gè)映像，將其映射到進(jìn)程地址空間之后，就可以直接進(jìn)行讀寫操作，寫操作立即反應(yīng)在屏幕上。 Framebuffer的設(shè)備文件一般存放在／dev這個(gè)目錄下，對(duì)此設(shè)備文件進(jìn)行操作即可實(shí)現(xiàn)圖像的顯示。

　　LCD顯示驅(qū)動(dòng)程序主要包括：

　　a)LCD驅(qū)動(dòng)的文件結(jié)構(gòu)：包括打開設(shè)備文件、設(shè)備文件其它操作、關(guān)閉設(shè)備文件等；

　　b)LCD的打開：LCD設(shè)備以讀寫的方式打開；

　　c)LCD設(shè)備的硬件初始化：包括注冊LCD設(shè)備、卸載LCD設(shè)備等；

　　d)LCD相關(guān)結(jié)構(gòu)的設(shè)置：以獲取顯存起始地址、分別率、色深等；

　　e)映射內(nèi)存區(qū)的操作：包括初始化顯存清零等，將攝像頭采集到的圖像數(shù)據(jù)讀至顯存處，以顯示圖像；

　　f)LCD控制輸出：包括得到命令、畫水平線、畫垂直線、畫圓等；

　　g)LCD的關(guān)閉。

　　將上面的內(nèi)容用程序?qū)崿F(xiàn)，進(jìn)行動(dòng)態(tài)編譯。通過后，將LCD驅(qū)動(dòng)模塊進(jìn)行移植加載，一個(gè)完整的LCD驅(qū)動(dòng)就開發(fā)完畢了。

　　5.3 USB驅(qū)動(dòng)程序開發(fā)

　　與LCD設(shè)備不同，USB既不屬于字符設(shè)備，也不屬于塊設(shè)備，而是一個(gè)新的設(shè)備類別，設(shè)計(jì)框架和流程如下：首先，提供一個(gè)“.o”的驅(qū)動(dòng)模塊文件，且在一開始就加載運(yùn)行。USB驅(qū)動(dòng)就會(huì)根據(jù)其類型向系統(tǒng)注冊。注冊成功后，系統(tǒng)會(huì)反饋一個(gè)主設(shè)備號(hào)，這個(gè)主設(shè)備號(hào)就是其唯一標(biāo)識(shí)。USB驅(qū)動(dòng)就是根據(jù)主設(shè)備號(hào)創(chuàng)建一個(gè)放置在／dev目錄下的設(shè)備文件。要訪問此硬件，可用open、read和write等命令訪問相應(yīng)的設(shè)備文件，驅(qū)動(dòng)就會(huì)接收到相應(yīng)的 read或write函數(shù)，根據(jù)模塊中相對(duì)應(yīng)的函數(shù)進(jìn)行操作。驅(qū)動(dòng)流程見圖6。

　　USB驅(qū)動(dòng)的具體設(shè)計(jì)過程如下：

　　a)USB驅(qū)動(dòng)的注冊。USB驅(qū)動(dòng)程序在注冊時(shí)會(huì)發(fā)送一個(gè)命令給函數(shù)register_chrdev，通常在驅(qū)動(dòng)程序的初始化函數(shù)中。當(dāng)USB 設(shè)備插入時(shí)，為了使linux-hotplug(Linux中USB等設(shè)備熱插拔支持)系統(tǒng)自動(dòng)裝載驅(qū)動(dòng)程序，需創(chuàng)建 MODULE_DEVICE_TABLE，在此過程中需將USB的主設(shè)備號(hào)傳遞給相應(yīng)的函數(shù)。

　　b)USB設(shè)備的打開。打開設(shè)備是通過調(diào)用file_operations結(jié)構(gòu)中的函數(shù)open()來完成的。其主要完成的任務(wù)是：檢查設(shè)備相關(guān)錯(cuò)誤，如果是第一次打開，則初始化硬件設(shè)備；識(shí)別次設(shè)備號(hào)；使用計(jì)數(shù)增1。

　　c)USB設(shè)備的釋放。釋放設(shè)備是通過調(diào)用file_operations結(jié)構(gòu)中的函數(shù)release()來完成的。它的作用正好與open()相反，通常要完成這樣的工作：使用計(jì)數(shù)減1，如果使用計(jì)算為0，則關(guān)閉設(shè)備。

　　d)USB設(shè)備的控制信息與數(shù)據(jù)讀寫。USB設(shè)備驅(qū)動(dòng)程序可以通過文件操作結(jié)構(gòu)中的函數(shù)向應(yīng)用程序提供對(duì)硬件進(jìn)行控制的接口，同時(shí)讀寫操作也要通過此函數(shù)來完成。

　　e)USB驅(qū)動(dòng)的注銷。當(dāng)從系統(tǒng)卸載驅(qū)動(dòng)程序時(shí)，需要注銷USB設(shè)備，這樣必須編寫一個(gè)注銷函數(shù)unregister_chrdev。

　　6結(jié)束語

　　本文基于TMS320DM*6平臺(tái)實(shí)現(xiàn)了Linux移植，包括創(chuàng)建交叉編譯環(huán)境、BootLoader的設(shè)計(jì)、Linux內(nèi)核移植以及LCD、 USB設(shè)備驅(qū)動(dòng)程序開發(fā)，為實(shí)時(shí)視頻處理應(yīng)用開發(fā)創(chuàng)建了一個(gè)良好的嵌入式平臺(tái)，在此平臺(tái)上可進(jìn)一步進(jìn)行應(yīng)用程序、GUI及視頻處理算法開發(fā)與測試。