Linux內(nèi)核SoftLockUp機(jī)制解析

Linux內(nèi)核softlockup機(jī)制介紹

與hardlockup機(jī)制類似, softlockup也是在watchdog框架下關(guān)注于某個(gè)task一直處于內(nèi)核態(tài)而不給其它task運(yùn)行機(jī)會(huì)的一種debug機(jī)制.具體的超時(shí)判斷時(shí)間一般為20S,也可以通過sysctrl 來進(jìn)行修改.

當(dāng)觸發(fā)softlockup機(jī)制時(shí)內(nèi)核會(huì)打印當(dāng)前堆棧信息,如果有配置panic,則會(huì)觸發(fā)panic. 同樣可以通過sysctrl來動(dòng)態(tài)配置,也可以通過CONFIG_BOOTPARAM_SOFTLOCKUP_PANIC進(jìn)行編譯時(shí)配置打開.

softlockup機(jī)制實(shí)現(xiàn)基礎(chǔ)

a) watchdog的內(nèi)核框架

b) 高精度timer框架

softlockup實(shí)現(xiàn)原理以及框架

softlockup實(shí)現(xiàn)機(jī)制

softlockup實(shí)現(xiàn)源代碼解析

在Linux內(nèi)核HardLockUp機(jī)制解析中我們已經(jīng)介紹過了watchdog_hrtimer的啟動(dòng)過程, 我們這里再主要解析一下hrtimer的成員function函數(shù)watchdog_timer_fn, 當(dāng)watchdog_timer_fn的返回為HRTIMER_RESTART時(shí),該hrtimer 會(huì)以hrtimer_start 的第二個(gè)參數(shù)的間隔再次觸發(fā).下來我們直接分析watchdog_timer_fn源代碼是如何檢測softlockup的

//kernel/watchdog.c
static DEFINE_PER_CPU(unsigned long, watchdog_touch_ts);
static DEFINE_PER_CPU(bool, soft_watchdog_warn);
static DEFINE_PER_CPU(struct task_struct *, softlockup_task_ptr_saved);
//hrtimer的callback函數(shù).如果返回HRTIMER_RESTART,則會(huì)固定周期重復(fù)觸發(fā)執(zhí)行
static enum hrtimer_restart watchdog_timer_fn(struct hrtimer *hrtimer)
{
   //每個(gè)核都有一份獨(dú)一無二的watchdog_touch_ts
   unsigned long touch_ts = __this_cpu_read(watchdog_touch_ts);
   ...
   //duration如果不為0,則表示觸發(fā)了,druation為超時(shí)時(shí)間,我們稍后分析is_softlockup源碼
   duration = is_softlockup(touch_ts);
   if (unlikely(duration)) {
        ...//我們在這拋開kvm等其它虛擬機(jī)case
        /* only warn once 多個(gè)processes 引起額softlockup只處處一次 */
        if (__this_cpu_read(soft_watchdog_warn) == true) 
        {
           // 判斷改core上本次觸發(fā)的task(即current)與上次在該核上觸發(fā)的是否為同一個(gè)task
           // 如果不是同一個(gè),則重置soft_watchdog_warn 然后更新 watchdog_touch_ts 
           if (__this_cpu_read(softlockup_task_ptr_saved) !=current)
           {
              __this_cpu_write(soft_watchdog_warn, false);
              __touch_watchdog();//更新watchdog_touch_ts
            }
            return HRTIMER_RESTART;
        }
      ...//如果一個(gè)cpu核已經(jīng)在dump backtrace了,防止多個(gè)softlockup報(bào)告生成,需要通過sysctrl打開
      //印我們需要的各種異常信息.
      pr_emerg("BUG: soft lockup - CPU#%d stuck for %us! [%s:%d]\\n",
      smp_processor_id(), duration,
      current- >comm, task_pid_nr(current));
      __this_cpu_write(softlockup_task_ptr_saved, current);
      print_modules();
      print_irqtrace_events(current);
      if (regs)
        show_regs(regs);
      else
        dump_stack();
      ...
      if (softlockup_panic) //如果打開kernel panic, 則觸發(fā)kernel panic
        panic("softlockup: hung tasks");
      ...
   }else{
       //如果沒有連續(xù)觸發(fā)警告標(biāo)志置為false
      __this_cpu_write(soft_watchdog_warn, false);
   }
   return HRTIMER_RESTART;
}

上述我們看到判斷是否超時(shí)的關(guān)鍵函數(shù)is_softlockup, 下面我們來詳解一下

//kernel/watchdog.c
static int is_softlockup(unsigned long touch_ts)
{
  unsigned long now = get_timestamp();


  if ((watchdog_enabled & SOFT_WATCHDOG_ENABLED) && watchdog_thresh){
    /* Warn about unreasonable delays. */
    //判斷當(dāng)前時(shí)間是否在上次watchdog_touch_ts更新之后的時(shí)間+watchdog_thresh * 2之后默認(rèn)20s
    if (time_after(now, touch_ts + get_softlockup_thresh()))
      return now - touch_ts; //返回超時(shí)時(shí)間.
  }
  return 0;
}

所以重點(diǎn)就是watchdog_touch_ts的時(shí)間,這個(gè)就是在調(diào)度器切換時(shí)會(huì)call touch_softlockup_watchdog_sched進(jìn)行更新的, 關(guān)于調(diào)度器更新的時(shí)機(jī)我們在后面分析task_struct的調(diào)度切換時(shí)再做介紹. 上述就是softlockup機(jī)制的檢測過程.

總結(jié)

通過源碼分析我們知道了, softlockup是關(guān)注于某個(gè)task_struct是否有hung的問題而hardlockup關(guān)注的是某個(gè)中斷是否正常的問題.

兩者都有用到相同的hrtimer, softlockup在這個(gè)timer中斷中檢測是否有發(fā)過task的切換, 而hardlockup 則在該hrtimer中更新中斷次數(shù), PerfEvent中使用的不可中斷(NMI)中斷定時(shí)觸發(fā)來進(jìn)行檢測hrtimer是否有更新來檢測中斷是否有異常占用.