鴻蒙內(nèi)核源碼分析之任何管理多個(gè)CPU?

并發(fā)（Concurrent）:多個(gè)線程在單個(gè)核心運(yùn)行，同一時(shí)間只能一個(gè)線程運(yùn)行，內(nèi)核不停切換線程，看起來(lái)像同時(shí)運(yùn)行，實(shí)際上是線程被高速的切換.

通俗好理解的比喻就是高速單行道,單行道指的是CPU的核數(shù),跑的車就是線程(任務(wù)),進(jìn)程就是管理車的公司,一個(gè)公司可以有很多臺(tái)車.并發(fā)和并行跟CPU的核數(shù)有關(guān).車道上同時(shí)只能跑一輛車,但因?yàn)橹笓]系統(tǒng)很牛,夠快,在毫秒級(jí)內(nèi)就能換車跑,人根本感知不到切換.所以外部的感知會(huì)是同時(shí)在進(jìn)行,實(shí)現(xiàn)了微觀上的串行，宏觀上的并行.

線程切換的本質(zhì)是CPU要換場(chǎng)地上班,去哪里上班由哪里提供場(chǎng)地,那個(gè)場(chǎng)地就是任務(wù)棧,每個(gè)任務(wù)棧中保存了上班的各種材料,來(lái)了就行立馬干活.那些材料就是任務(wù)上下文.簡(jiǎn)單的說(shuō)就是上次活干到那里了,回來(lái)繼續(xù)接著干.上下文由任務(wù)棧自己保存,CPU不管的,它來(lái)了只負(fù)責(zé)任務(wù)交過(guò)來(lái)的材料,材料顯示去哪里搬磚它就去哪里搬磚.

記住一個(gè)單詞就能記住并行并發(fā)的區(qū)別, 發(fā)單,發(fā)單(并發(fā)單行).

理解并行概念

并行（Parallel）每個(gè)線程分配給獨(dú)立的CPU核心，線程真正的同時(shí)運(yùn)行.

通俗好理解的比喻就是高速多行道,實(shí)現(xiàn)了微觀和宏觀上同時(shí)進(jìn)行. 并行當(dāng)然是快,人多了干活就不那么累,但干活人多了必然會(huì)帶來(lái)人多的管理問(wèn)題,會(huì)把問(wèn)題變復(fù)雜,請(qǐng)想想會(huì)出現(xiàn)哪些問(wèn)題?

理解協(xié)程概念

這里說(shuō)下協(xié)程,例如go語(yǔ)言是有協(xié)程支持的,其實(shí)協(xié)程跟內(nèi)核層沒(méi)有關(guān)系,是應(yīng)用層的概念.是在線程之上更高層的封裝,用通俗的比喻來(lái)說(shuō)就是在車內(nèi)另外搞了幾條車道玩.其對(duì)內(nèi)核來(lái)說(shuō)沒(méi)有新東西,內(nèi)核只負(fù)責(zé)車的調(diào)度,至于車內(nèi)你想怎么弄那是應(yīng)用程序自己的事.本質(zhì)的區(qū)別是CPU根本沒(méi)有換地方上班(沒(méi)有被調(diào)度),而并發(fā)/并行都是換地方上班了.

內(nèi)核如何描述CPU

    typedef struct {
        SortLinkAttribute taskSortLink;             /* task sort link */ //每個(gè)CPU core 都有一個(gè)task排序鏈表
        SortLinkAttribute swtmrSortLink;            /* swtmr sort link */ //每個(gè)CPU core 都有一個(gè)定時(shí)器排序鏈表

        UINT32 idleTaskID;                          /* idle task id */  //空閑任務(wù)ID 見(jiàn)于 OsIdleTaskCreate
        UINT32 taskLockCnt;                         /* task lock flag */ //任務(wù)鎖的數(shù)量,當(dāng) > 0 的時(shí)候,需要重新調(diào)度了
        UINT32 swtmrHandlerQueue;                   /* software timer timeout queue id */ //軟時(shí)鐘超時(shí)隊(duì)列句柄
        UINT32 swtmrTaskID;                         /* software timer task id */ //軟時(shí)鐘任務(wù)ID

        UINT32 schedFlag;                           /* pending scheduler flag */ //調(diào)度標(biāo)識(shí) INT_NO_RESCH INT_PEND_RESCH
    #if (LOSCFG_KERNEL_SMP == YES)
        UINT32 excFlag;                             /* cpu halt or exc flag */ //CPU處于停止或運(yùn)行的標(biāo)識(shí)
    #endif
    } Percpu;

    Percpu g_percpu[LOSCFG_KERNEL_CORE_NUM];//全局CPU數(shù)組

這是內(nèi)核對(duì)CPU的描述,主要是兩個(gè)排序鏈表,一個(gè)是任務(wù)的排序,一個(gè)是定時(shí)器的排序.什么意思? 在系列篇中多次提過(guò),任務(wù)是內(nèi)核的調(diào)度單元,注意可不是進(jìn)程,雖然調(diào)度也需要進(jìn)程參與,也需要切換進(jìn)程,切換用戶空間.但調(diào)度的核心是切換任務(wù),每個(gè)任務(wù)的代碼指令才是CPU的糧食,它吃的是一條條的指令.每個(gè)任務(wù)都必須指定取糧地址(即入口函數(shù)).

另外還有一個(gè)東西能提供入口函數(shù),就是定時(shí)任務(wù).很重要也很常用,沒(méi)它某寶每晚9點(diǎn)的準(zhǔn)時(shí)秒殺實(shí)現(xiàn)不了.在內(nèi)核每個(gè)CPU都有自己獨(dú)立的任務(wù)和定時(shí)器鏈表.

每次Tick的到來(lái),處理函數(shù)會(huì)去掃描這兩個(gè)鏈表,看有沒(méi)有定時(shí)器超時(shí)的任務(wù)需要執(zhí)行,有則立即執(zhí)行定時(shí)任務(wù),定時(shí)任務(wù)是所有任務(wù)中優(yōu)先級(jí)最高的,0號(hào)優(yōu)先級(jí),在系列篇中有專門講定時(shí)器任務(wù),可自行翻看.

LOSCFG_KERNEL_SMP

# if (LOSCFG_KERNEL_SMP == YES)
# define LOSCFG_KERNEL_CORE_NUM                          LOSCFG_KERNEL_SMP_CORE_NUM //多核情況下支持的CPU核數(shù)
# else
# define LOSCFG_KERNEL_CORE_NUM                          1 //單核配置
# endif

多CPU核的操作系統(tǒng)有3種處理模式(SMP+AMP+BMP) 鴻蒙實(shí)現(xiàn)的是 SMP 的方式

非對(duì)稱多處理（Asymmetric multiprocessing，AMP）每個(gè)CPU內(nèi)核運(yùn)行一個(gè)獨(dú)立的操作系統(tǒng)或同一操作系統(tǒng)的獨(dú)立實(shí)例（instantiation）。

對(duì)稱多處理（Symmetric multiprocessing，SMP）一個(gè)操作系統(tǒng)的實(shí)例可以同時(shí)管理所有CPU內(nèi)核，且應(yīng)用并不綁定某一個(gè)內(nèi)核。

混合多處理（Bound multiprocessing，BMP）一個(gè)操作系統(tǒng)的實(shí)例可以同時(shí)管理所有CPU內(nèi)核，但每個(gè)應(yīng)用被鎖定于某個(gè)指定的核心。

宏LOSCFG_KERNEL_SMP表示對(duì)多CPU核的支持,鴻蒙默認(rèn)是打開(kāi)LOSCFG_KERNEL_SMP的。

多CPU核支持

鴻蒙內(nèi)核對(duì)CPU的操作見(jiàn)于 los_mp.c ,因文件不大,這里把代碼都貼出來(lái)了.

    #if (LOSCFG_KERNEL_SMP == YES)
    //給參數(shù)CPU發(fā)送調(diào)度信號(hào)
    VOID LOS_MpSchedule(UINT32 target)//target每位對(duì)應(yīng)CPU core 
    {
        UINT32 cpuid = ArchCurrCpuid();
        target &= ~(1U << cpuid);//獲取除了自身之外的其他CPU
        HalIrqSendIpi(target, LOS_MP_IPI_SCHEDULE);//向目標(biāo)CPU發(fā)送調(diào)度信號(hào),核間中斷(Inter-Processor Interrupts),IPI
    }
    //硬中斷喚醒處理函數(shù)
    VOID OsMpWakeHandler(VOID)
    {
        /* generic wakeup ipi, do nothing */
    }
    //硬中斷調(diào)度處理函數(shù)
    VOID OsMpScheduleHandler(VOID)
    {//將調(diào)度標(biāo)志設(shè)置為與喚醒功能不同，這樣就可以在硬中斷結(jié)束時(shí)觸發(fā)調(diào)度程序。
        /*
        * set schedule flag to differ from wake function,
        * so that the scheduler can be triggered at the end of irq.
        */
        OsPercpuGet()->schedFlag = INT_PEND_RESCH;//給當(dāng)前Cpu貼上調(diào)度標(biāo)簽
    }
    //硬中斷暫停處理函數(shù)
    VOID OsMpHaltHandler(VOID)
    {
        (VOID)LOS_IntLock();
        OsPercpuGet()->excFlag = CPU_HALT;//讓當(dāng)前Cpu停止工作

        while (1) {}//陷入空循環(huán),也就是空閑狀態(tài)
    }
    //MP定時(shí)器處理函數(shù), 遞歸檢查所有可用任務(wù)
    VOID OsMpCollectTasks(VOID)
    {
        LosTaskCB *taskCB = NULL;
        UINT32 taskID = 0;
        UINT32 ret;

        /* recursive checking all the available task */
        for (; taskID <= g_taskMaxNum; taskID++) { //遞歸檢查所有可用任務(wù)
            taskCB = &g_taskCBArray[taskID];

            if (OsTaskIsUnused(taskCB) || OsTaskIsRunning(taskCB)) {
                continue;
            }

            /* 雖然任務(wù)狀態(tài)不是原子的，但此檢查可能成功，但無(wú)法完成刪除,此刪除將在下次運(yùn)行之前處理
            * though task status is not atomic, this check may success but not accomplish
            * the deletion; this deletion will be handled until the next run.
            */
            if (taskCB->signal & SIGNAL_KILL) {//任務(wù)收到被干掉信號(hào)
                ret = LOS_TaskDelete(taskID);//干掉任務(wù),回歸任務(wù)池
                if (ret != LOS_OK) {
                    PRINT_WARN("GC collect task failed err:0x%x\n", ret);
                }
            }
        }
    }
    //MP(multiprocessing) 多核處理器初始化
    UINT32 OsMpInit(VOID)
    {
        UINT16 swtmrId;

        (VOID)LOS_SwtmrCreate(OS_MP_GC_PERIOD, LOS_SWTMR_MODE_PERIOD, //創(chuàng)建一個(gè)周期性,持續(xù)時(shí)間為 100個(gè)tick的定時(shí)器
                            (SWTMR_PROC_FUNC)OsMpCollectTasks, &swtmrId, 0);//OsMpCollectTasks為超時(shí)回調(diào)函數(shù)
        (VOID)LOS_SwtmrStart(swtmrId);//開(kāi)始定時(shí)任務(wù)

        return LOS_OK;
    }
    #endif

代碼一一都加上了注解,這里再一一說(shuō)明下:

1.OsMpInit

多CPU核的初始化, 多核情況下每個(gè)CPU都有各自的編號(hào), 內(nèi)核有分成主次CPU, 0號(hào)默認(rèn)為主CPU, OsMain()由主CPU執(zhí)行,被匯編代碼調(diào)用. 初始化只開(kāi)了個(gè)定時(shí)任務(wù),只干一件事就是回收不用的任務(wù).回收的條件是任務(wù)是否收到了被干掉的信號(hào). 例如shell命令 kill 9 14 ,意思是干掉14號(hào)線程的信號(hào),這個(gè)信號(hào)會(huì)被線程保存起來(lái). 可以選擇自殺也可以等著被殺. 這里要注意,鴻蒙有兩種情況下任務(wù)不能被干掉, 一種是系統(tǒng)任務(wù)不能被干掉的, 第二種是正在運(yùn)行狀態(tài)的任務(wù).

2.次級(jí)CPU的初始化

同樣由匯編代碼調(diào)用,通過(guò)以下函數(shù)執(zhí)行,完成每個(gè)CPU核的初始化

    //次級(jí)CPU初始化,本函數(shù)執(zhí)行的次數(shù)由次級(jí)CPU的個(gè)數(shù)決定. 例如:在四核情況下,會(huì)被執(zhí)行3次, 0號(hào)通常被定義為主CPU 執(zhí)行main
    LITE_OS_SEC_TEXT_INIT VOID secondary_cpu_start(VOID)
    {
    #if (LOSCFG_KERNEL_SMP == YES)
        UINT32 cpuid = ArchCurrCpuid();

        OsArchMmuInitPerCPU();//每個(gè)CPU都需要初始化MMU

        OsCurrTaskSet(OsGetMainTask());//設(shè)置CPU的當(dāng)前任務(wù)

        /* increase cpu counter */
        LOS_AtomicInc(&g_ncpu); //統(tǒng)計(jì)CPU的數(shù)量

        /* store each core's hwid */
        CPU_MAP_SET(cpuid, OsHwIDGet());//存儲(chǔ)每個(gè)CPU的 hwid
        HalIrqInitPercpu(); //CPU硬件中斷初始化

        OsCurrProcessSet(OS_PCB_FROM_PID(OsGetKernelInitProcessID())); //設(shè)置內(nèi)核進(jìn)程為CPU進(jìn)程
        OsSwtmrInit();  //定時(shí)任務(wù)初始化,每個(gè)CPU維護(hù)自己的定時(shí)器隊(duì)列
        OsIdleTaskCreate(); //創(chuàng)建空閑任務(wù),每個(gè)CPU維護(hù)自己的任務(wù)隊(duì)列
        OsStart(); //本CPU正式啟動(dòng)在內(nèi)核層的工作
        while (1) {
            __asm volatile("wfi");//wait for Interrupt 等待中斷，即下一次中斷發(fā)生前都在此hold住不干活
        }//類似的還有 WFE: wait for Events 等待事件，即下一次事件發(fā)生前都在此hold住不干活
    #endif
    }

可以看出次級(jí)CPU有哪些初始化步驟:

初始化MMU,OsArchMmuInitPerCPU

設(shè)置當(dāng)前任務(wù) OsCurrTaskSet

初始化硬件中斷 HalIrqInitPercpu

初始化定時(shí)器隊(duì)列 OsSwtmrInit

創(chuàng)建空任務(wù) OsIdleTaskCreate, 外面沒(méi)有任務(wù)的時(shí)CPU就待在這個(gè)空任務(wù)里自己轉(zhuǎn)圈圈.

開(kāi)始自己的工作流程 OsStart,正式開(kāi)始工作,跑任務(wù)

多CPU核還有哪些問(wèn)題?

CPU之間搶資源的情況要怎么處理?

CPU之間通訊(也叫核間通訊)怎么解決?

如果確保兩個(gè)CPU不會(huì)同時(shí)執(zhí)行同一個(gè)任務(wù)?

匯編代碼如何實(shí)現(xiàn)對(duì)各CPU的調(diào)動(dòng)

請(qǐng)前往系列篇或直接前往內(nèi)核注解代碼查看.這里不再做說(shuō)明.

編輯：hfy