一、前言
關(guān)注ARM平臺上timer driver(clocksource chip driver和clockevent chip driver)的驅(qū)動工程師應(yīng)該會注意到timer硬件的演化過程。在單核時代,各個SOC vendor廠商購買ARM core的IP,然后自己設(shè)計SOC上的peripherals,這里面就包括了timer的硬件。由于沒有統(tǒng)一的標準,各個廠商的設(shè)計各不相同,這給驅(qū)動工程師帶來了工作量。然而,如果僅僅是工作量的話就還好,實際上,不僅僅如此。linux的時間子系統(tǒng)要求硬件timer提供下面兩種能力:一是free running的counter,此外需要能夠在指定的counter值上產(chǎn)生中斷的能力。有些硬件廠商會考慮到軟件的需求(例如:PXA270的timer硬件),但是有些硬件廠商做的就不夠,例如:S3C2451的timer硬件。我們在寫PXA270的timer硬件驅(qū)動的時候是毫無壓力的,而在寫S3C2451的timer的驅(qū)動的時候,最大的愿望就是把三星的HW timer的設(shè)計人員拉出來打一頓。
進入多核時代后,ARM公司提供了timer的硬件設(shè)計,集成在了自己的多核結(jié)構(gòu)中。例如:在Cortex A15 MPcore的硬件體系結(jié)構(gòu)中有一個HW block叫做Generic Timer(該硬件取代了A9中的global timer、private timer的功能),為系統(tǒng)提供了計時以及觸發(fā)timer event的功能。
本文主要描述了Generic Timer的相關(guān)硬件知識以及在linux kernel中如何驅(qū)動該硬件。Generic Timer的代碼位于linux-3.14/drivers/clocksource/目錄下,該目錄保存了所有clock source相關(guān)的driver,arm_arch_timer.c就是驅(qū)動Cortex A15 MPcore的Generic Timer的。
二、硬件描述
1、block diagram
ARM generic timer相關(guān)的硬件block如下圖所示(用綠色標記):
ARM generic timer的硬件block主要是SOC上的System counter(多個process共享,用來記錄時間的流逝)以及附著在各個processor上的Timer(用于觸發(fā)timer event)組成,其他的generic timer的硬件電路主要是用來進行交流generic time event的。例如各個processor中的timer和system counter外設(shè)進行交互,各個processor中的timer進行信息交互。System counter的功能很簡單,就是計算輸入時鐘已經(jīng)過了多少個clock,開始的時候是0,每一個clock,System counter會加一。System counter的counter value需要分發(fā)到各個timer中,也就是說,從各個timer的角度看,system counter value應(yīng)該是一致的。Timer其實就是定時器,它可以定義一段指定的時間,當時間到了,就會assert一個外部的輸出信號(可以輸出到GIC,作為一個interrupt source)。
從power domain來看,ARM generic timer分成兩個部分:System counter和各個Multiprocessor系統(tǒng)中的Timer_x、接口電路等。之所以這么分原因很明顯:功耗方面(電源管理)的考量。在power saving mode下,可以shutdown各個processor系統(tǒng)的供電,但是可以保持system counter的供電,這樣,至少系統(tǒng)時間可以保持住。
和power domain類似,clock domain也是不同的,system counter和processor工作在不同的clock下,軟件修改了CPU的頻率也不會影響system counter的工作節(jié)奏,從而也不會改變timer的行為。
2、System counter
關(guān)于System Counter的規(guī)格整理如下:
除了基本的計時功能,system count還提供了event stream的功能。我們知道,ARMv7的處理器提供了wait for event的機制,該機制允許processor進入low power state并等待event的到來。這個event可能是來自另外的process的send event指令,也可能是外部HW block產(chǎn)生的event,比如來自system counter的wake-up event。軟件可以配置system counter產(chǎn)生周期性的event,具體可以配置的參數(shù)包括:
(1)指定產(chǎn)生event的bit。我們可以選擇system counter中的低16bit。
(2)選定的bit當發(fā)生0到1的遷移(或是1到0的遷移)產(chǎn)生event
經(jīng)過配置后,實際上system counter產(chǎn)生的是一個event stream,event產(chǎn)生的頻率是由選定的bit位置決定的。設(shè)定bit 0會產(chǎn)出頻率非常高的event stream,而設(shè)定15bit會產(chǎn)生頻率最慢的event stream,因為system counter的值不斷累加,直到bit 15發(fā)生翻轉(zhuǎn)才會觸發(fā)一個event。
3、Timers
各個cpu的timer是根據(jù)system counter的值來觸發(fā)timer event的,因此,系統(tǒng)中一定有一個機制讓System counter的值廣播到各個CPU的timer HW block上,同時運行在各個processor上的軟件可以通過接口獲取System counter的值。
處理器可以通過CNTPCT寄存器來獲取system counter的當前值,我們稱之physical counter。有physical就有virtual,processor可以通過CNTVCT寄存器訪問virtual counter,不過,對于不支持security extension和virtualization extension的系統(tǒng),virtual counter和physical counter是一樣的值。
系統(tǒng)中每個processor都會附著多個timer,具體如下:
(1)對于不支持security extension的SOC(不支持security extension也就意味著 不支持virtualization extension),timer實際上有兩個,一個是physical timer,另外一個是virtual timer。雖然有兩個,不過從行為上看,virtual timer和physical timer行為一致
(2)對于支持security extension但不支持virtualization extension的SOC,每個cpu有三個timer:Non-secure physical timer,Secure physical timer和virtual timer
(3)對于支持virtualization extension的SOC,每個cpu有四個timer:Non-secure PL1 physical timer,Secure PL1 physical timer,Non-secure PL2 physical timer和virtual timer
每個timer都會有三個寄存器(我們用physical timer為例描述):
(1)64-bit CompareValue register。該寄存器配合system counter可以實現(xiàn)一個64 bit unsigned upcounter。如果physical counter - CompareValue >= 0的話,觸發(fā)中斷。也就是說,CompareValue register其實就是一個64比特的upcounter,設(shè)定為一個比當前system counter要大的值,隨著system counter的不斷累加,當system counter value觸及CompareValue register設(shè)定的值的時候,便會向GIC觸發(fā)中斷。
(2)32-bit TimerValue register。該寄存器配合system counter可以實現(xiàn)一個32 bit signed downcounter(有的時候,使用downcounter會讓軟件邏輯更容易,看ARM generic timer的設(shè)計人員考慮的多么周到)。開始的時候,我們可以設(shè)定TimerValue寄存器的值為1000(假設(shè)我們想down count 1000,然后觸發(fā)中斷),向該寄存器寫入1000實際上也就是設(shè)定了CompareValue register的值是system counter值加上1000。隨著system counter的值不斷累加,TimerValue register的值在遞減,當值<=0的時候,便會向GIC觸發(fā)中斷
(3)32-bit控制寄存器。該寄存器主要對timer進行控制,具體包括:enable或是disable該timer,mask或者unmask該timer的output signal(timer interrupt)
各個processor的各個Timer都可以產(chǎn)生中斷,因此它和GIC有接口。當然,由于timer的中斷是屬于各個CPU的,因此使用PPI類型的中斷,具體可以參考GIC文檔。當然,如果讓timer觸發(fā)中斷,當然要確保該timer是enable并且是umask的。
4、軟件編程接口
由上面的描述可知,ARM generic timer的硬件包括兩個部分:一個是per cpu的timer硬件,另外一個就是system level的counter硬件。對于per cpu的timer硬件,使用system control register(CP15)來訪問是最合適的,而且速度也快。要訪問system level的counter硬件,當然使用memory mapped IO的形式(請注意block diagram中的APB總線,很多system level的外設(shè)都是通過APB訪問的)。
三、初始化
1、Generic Timer的device node和Generic Timer clocksource driver的匹配過程
(1)clock source driver中的聲明
在linux/include/linux/clocksource.h目錄下的clocksource.h文件中定義了CLOCKSOURCE_OF_DECLARE宏如下:
CLOCKSOURCE_OF_DECLARE這個宏其實就是初始化了一個struct of_device_id的靜態(tài)常量,并放置在__clksrc_of_table section中。arm_arch_timer.c文件中使用CLOCKSOURCE_OF_DECLARE這個宏定義了若干個靜態(tài)的struct of_device_id常量,如下:
這里compatible的名字使用了armv7、armv8這樣的字樣而不是Cortex A15,我猜測ARM公司是認為這樣的generic timer的硬件block是ARMv7或者v8指令集的特性,所有使用這些指令集的core都應(yīng)該使用這樣的generic timer的硬件結(jié)構(gòu)。不論是v7還是v8,其初始化函數(shù)都是一個arch_timer_init。從這個角度看,把ARM的generic timer的驅(qū)動放到drivers的目錄下更合理(原來是放在arch目錄下),這樣多個arch(ARM和ARM64)可以共享一個ARM ARCH timer的驅(qū)動程序。
這里還有一個疑問是:"arm,armv7-timer"和"arm,armv7-timer-mem"有什么不同?實際上訪問ARM generic timer有兩種形式,一種是通過協(xié)處理器CP15訪問timer的寄存器,我們稱之CP15 timer。另外一種是通過寄存器接口訪問timer,也就是說,generic timer的控制寄存器被memory map到CPU的地址空間,這種我們稱之memory mapped timer。arch_timer_mem_init是for memory mapped timer類型的驅(qū)動初始化的,arch_timer_init是for CP15 timer類型的驅(qū)動進行初始化的。
Travelhop同學在他的程序員的“紀律性”文章中說到:有技術(shù)追求的年輕人要多問幾個為什么?因此,我們這里再追問一個問題:為何要有CP15 timer和memory mapped timer呢?都能完成對ARM generic timer的控制,為什么要提供兩種方式呢?其實最開始的時候,driver只支持CP15 type的timer訪問形態(tài),畢竟這種方式比memory mapped register的訪問速度要更快一些。但是,這種方式不能控制system level的counter硬件部分(只能使用memory mapped IO形式訪問),因此功能受限。比如:system counter可以提供一組frequency table,可以讓軟件設(shè)定當然counter的輸入頻率以及每個clock下counter增加的數(shù)目。這樣的設(shè)定可以讓system counter的硬件在不同的輸入頻率下工作,有更好的電源管理特性。
此外,有些系統(tǒng)不支持協(xié)處理的訪問,這種情況下又想給系統(tǒng)增加ARM generic timer的功能,這時候必須使用memory mapped register的方式來訪問ARM generic timer的所有硬件block(包括system counter和per cpu的timer)。這時候,在訪問timer硬件的時候雖然性能不佳,但總是好過功能喪失。
在linux kernel編譯的時候,你可以配置多個clocksource進入內(nèi)核,編譯系統(tǒng)會把所有的CLOCKSOURCE_OF_DECLARE宏定義的數(shù)據(jù)放入到一個特殊的section中(section name是__clksrc_of_table),我們稱這個特殊的section叫做clock source table。這個table也就保存了kernel支持的所有的clock source的ID信息(最重要的是驅(qū)動代碼初始化函數(shù)和DT compatible string)。我們來看看struct of_device_id的定義:
這個數(shù)據(jù)結(jié)構(gòu)主要被用來進行Device node和driver模塊進行匹配用的。從該數(shù)據(jù)結(jié)構(gòu)的定義可以看出,在匹配過程中,device name、device type和DT compatible string都是考慮的因素。更細節(jié)的內(nèi)容請參考__of_device_is_compatible函數(shù)。
(2)device node
一個示例性的Generic Timer(CP15 type的timer)的device node(我們以瑞芯微的RK3288處理器為例)定義如下:
Generic Timer這個HW block的Device node中定義了各種屬性,其中就包括了System counter的輸入clock frequency,中斷資源描述等信息。compatible 屬性用于驅(qū)動匹配的,在系統(tǒng)啟動的時候,系統(tǒng)中的所有的device node形成一個樹狀結(jié)構(gòu),在clock source初始化的時候進行device node和driver匹配(compatible 字符串的比對),device node攜帶的信息會在初始化的時候傳遞給具體的驅(qū)動。該節(jié)點的各個屬性的具體含義后面會詳細描述。
MMIO type的timer的device node(我們以高通的msm8974處理器為例)定義如下:
(3)device node和clock source driver的匹配
在系統(tǒng)初始化的時候start_kernel函數(shù)會調(diào)用time_init進行時間子系統(tǒng)的初始化,代碼如下:
clock source的初始化有兩種形態(tài),一種是調(diào)用machine driver的init_time函數(shù),另外一種是調(diào)用clocksource_of_init,使用device tree形式的初始化。具體使用哪種形態(tài)的初始化是和系統(tǒng)設(shè)計相關(guān)的,我們這里來看看device tree形式的初始化,畢竟device tree是未來的方向。具體代碼如下:
__clksrc_of_table就是內(nèi)核的clock source table,這個table也就保存了kernel支持的所有的clock source driver的ID信息(用于和device node的匹配)。clocksource_of_init函數(shù)執(zhí)行之前,系統(tǒng)已經(jīng)完成了device tree的初始化,因此系統(tǒng)中的所有的設(shè)備節(jié)點都已經(jīng)形成了一個樹狀結(jié)構(gòu),每個節(jié)點代表一個設(shè)備的device node。clocksource_of_init是針對系統(tǒng)中的所有的device node,掃描clock source table,進行匹配,一旦匹配到,就調(diào)用該clock source driver的初始化函數(shù),并把該timer硬件的device node作為參數(shù)傳遞給clocksource driver。
2、CP15 Timer初始化代碼分析
CP15 Timer初始化代碼如下所示:
(1)arch_timers_present用來記錄系統(tǒng)中的timer情況,定義如下:
該變量只有兩個bit有效,bit 0標識是否有CP15 timer,bit 1標識memory mapped timer是否已經(jīng)初始化。
如果在調(diào)用arch_timer_init之前,ARCH_CP15_TIMER已經(jīng)置位,說明之前已經(jīng)有一個ARM arch timer的device node進行了初始化的動作,這多半是由于device tree的database中有兩個或者多個cp15 timer的節(jié)點,這時候,我們初始化一個就OK了。
(2)這部分的代碼是分配IRQ。ARM generic timer使用4個PPI的中斷,對于Cortex A15,和timer相關(guān)的PPI包括:
函數(shù)irq_of_parse_and_map對該device node中的interrupt屬性進行分析,并分配IRQ number,建立HW interrupt ID和該IRQ number的映射。irq_of_parse_and_map這個函數(shù)在中斷子系統(tǒng)中已經(jīng)詳細描述過了,這里不再贅述。至此,arch_timer_ppi數(shù)組中保存了ARM generic timer使用IRQ number。
(3)arch_timer_detect_rate這個函數(shù)用來確定system counter的輸入clock頻率,具體實現(xiàn)如下:
arch_timer_rate這個全局變量用來保存system counter的輸入頻率,基本上,這個數(shù)據(jù)有兩個可能的來源:
(a)device tree node中的clock-frequency屬性
(b)寄存器CNTFRQ
我們優(yōu)先考慮從clock-frequency屬性中獲取該數(shù)據(jù),如果device node中沒有定義該屬性,那么從CNTFRQ寄存器中讀取。訪問CNTFRQ寄存器有兩種形態(tài),如果cntbase是NULL的話,說明是CP15 timer,可以通過協(xié)處理器來獲取該值(調(diào)用arch_timer_get_cntfrq函數(shù))。如果給出了cntbase的值,說明是memory mapped的方式來訪問CNTFRQ寄存器(直接使用readl_relaxed函數(shù))。
(4)如果沒有定義virtual timer的中斷(arch_timer_ppi[VIRT_PPI]==0),那么我們只能是使用physical timer的,這時候,需要設(shè)定arch_timer_use_virtual這個全局變量為false。arch_timer_use_virtual這個變量名字已經(jīng)說明的很清楚了,它標識系統(tǒng)是否使用virtual timer。ok,既然使用physical timer,那么需要定義physical timer中斷,包括secure和non-secure physical timer event PPI。只要有一個沒有定義,那么就出錯退出了。
如果系統(tǒng)支持虛擬化,那么CPU會處于HYP mode,這時候,我們也是應(yīng)該使用physical timer的,virtual timer是guest OS需要訪問的。
(5) arch_timer_register的代碼如下:
(a)分配一個類型是struct clock_event_device的per cpu變量。struct clock_event_device是對一個能夠觸發(fā)timer event的設(shè)備進行抽象。對于ARM generic timer而言,每個CPU都有一個timer硬件block,就是一個clock event device。
(b)根據(jù)當前是使用physical timer還是virtual timer,分別注冊一個per cpu的IRQ。如果使用physical timer的話,需要注冊secure和non-secure physical timer event PPI。如果使用virtual timer的話,需要注冊virtual timer中斷。
(c)這里的代碼主要是formulti core系統(tǒng)的,用于non-BSP上的generic timer硬件的初始化,其概念類似GIC driver的初始化,這里就不再具體描述了。
(d)這里主要是注冊一個回調(diào)函數(shù),在processor進入和退出low power state的時候會調(diào)用該回調(diào)函數(shù)進行電源管理相關(guān)的處理。
(e)初始化BSP上的timer硬件對應(yīng)的clock event device,并調(diào)用clockevents_register_device函數(shù)將該clock event device注冊到linux kernel的時間子系統(tǒng)中。non-BSP的timer硬件的setup是通過event notifier機制完成的,具體請參考步驟c。
(6)CP15 timer和memory mapped timer雖然接口形態(tài)不一樣,但是總是有共同的部分,這些代碼被封裝到arch_timer_common_init函數(shù)中,具體如下:
(a)實際上,即便是系統(tǒng)中存在兩種timer,這個函數(shù)的代碼執(zhí)行一次就OK了。這很好理解,例如arch_counter_register函數(shù)用來注冊system count,而實際上,無論是CP15 timer還是memory mapped的timer,system counter是system level的,只有一個,注冊一次就OK了。
明白了上面的思路后,這段代碼就比較簡單了。在系統(tǒng)中存在兩種timer的時候,要等到后一個timer初始化的時候再執(zhí)行后面具體的arch_timer_banner到arch_timer_arch_init部分的代碼。
(b)輸出ARM generic timer的相關(guān)信息到控制臺
(c)向linux kernel的時間子系統(tǒng)注冊clock source、timer counter、shed clock設(shè)備。
(d)主要是注冊delay timer(忙等待那種)。
3、memory mapped Timer初始化代碼分析
TODO
四、和linux kernel時間子系統(tǒng)的接口
linux的時間子系統(tǒng)需要兩種時間相關(guān)的硬件:一個是free running的counter(system counter),抽象為clock source device,另外一個就是能夠產(chǎn)生中斷的能力的timer(per cpu timer),抽象為clock event device。對于ARM generic timer driver而言,我們需要定義linux kernel時間子系統(tǒng)的clock source和clock event device并注冊到系統(tǒng)。
1、定義clocksource并注冊到系統(tǒng)
ARM generic timer中的system counter硬件block對應(yīng)的clock source定義如下:
(這里順便吐槽一下clocksource_counter這個變量名,實在是太差了)rating標識該clock source的精度等級,數(shù)字越大,精度等級越高。read函數(shù)用來讀取當前counter的值。在ARM generic timer驅(qū)動初始化的過程中會調(diào)用arch_counter_register函數(shù)注冊該clock source:
(1)在定義ARM generic timer的clock source的時候,read函數(shù)被設(shè)定成arch_counter_read,該函數(shù)會調(diào)用arch_timer_read_counter 函數(shù),而這個函數(shù)指針會在初始化的時候根據(jù)timer的類型進行設(shè)定。
(2)向系統(tǒng)注冊一個clock soure(也就是一個free running的counter),并給出counter的工作頻率作為傳入的參數(shù)。linux時間子系統(tǒng)的clock source模塊會根據(jù)counter的工作頻率設(shè)定struct clocksource的各個成員,例如mult和shitf等
(3)clocksource模塊是為timekeeping模塊提供服務(wù)的,但是其他的驅(qū)動模塊也有一些計時需求,這時候可以考慮使用timercounter。ARM generic timer靜態(tài)定義了一個timercounter的全局變量,其他模塊可以通過arch_timer_get_timecounter獲取timercounter,并可以調(diào)用timecounter_read獲取一個納秒值。
(4)TODO
2、定義clock_event_device并注冊到系統(tǒng)
和clocksource不同,ARM generic timer是由alloc_percpu動態(tài)分配的??紤]到system counter只有一個,而timer是附著在各個CPU上,這樣的分配也是合理的。在driver的初始化過程中(先是BSP初始化,然后其他CPU的初始化是通過event notifier機制完成),會調(diào)用arch_timer_setup來初始化clock_event_device數(shù)據(jù)結(jié)構(gòu)并注冊到系統(tǒng)中。
TODO:這里等到完成clockevent文檔之后再來更新。
-
ARM
+關(guān)注
關(guān)注
134文章
9027瀏覽量
366495 -
Linux
+關(guān)注
關(guān)注
87文章
11212瀏覽量
208721
原文標題:郭健:? Linux時間子系統(tǒng)之ARM generic timer驅(qū)動代碼分析
文章出處:【微信號:LinuxDev,微信公眾號:Linux閱碼場】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論