內核中的互斥

? /*e4gle:在我修改linux源代碼的過程中曾被大量的內核互斥現(xiàn)象所困擾，這需要利用內核鎖去解決，雖然最后大部分解決，但我覺得應該留下些什么，也沒時間寫了，偶爾看見這位兄弟的文章，覺得正是我想整理的，所以拿出來給大家分享，關于bottom_half和中斷的問題，在tcp/ip半底中絕對不能對文件讀寫操作，不然就panic，恰恰我在linux中的增強功能就有這個操作，使我郁悶了很久，歡迎大家討論
　　*/
　　內核中的互斥之我見
　　by wheelz

　　看了前面各位的討論，我也有些想法，與大家商榷。
　　需要澄清的是，互斥手段的選擇，不是根據(jù)臨界區(qū)的大小，而是根據(jù)臨界區(qū)的性質，以及 有哪些部分的代碼，即哪些內核執(zhí)行路徑來爭奪。
　　從嚴格意義上說，semaphore和spinlock_XXX屬于不同層次的互斥手段，前者的 實現(xiàn)有賴于后者，這有點象HTTP和TCP的關系，都是協(xié)議，但層次是不同的。
　　先說semaphore，它是進程級的，用于多個進程之間對資源的互斥，雖然也是在 內核中，但是該內核執(zhí)行路徑是以進程的身份，代表進程來爭奪資源的。如果 競爭不上，會有context switch，進程可以去sleep，但CPU不會停，會接著運行 其他的執(zhí)行路徑。從概念上說，這和單CPU或多CPU沒有直接的關系，只是在 semaphore本身的實現(xiàn)上，為了保證semaphore結構存取的原子性，在多CPU中需要spinlock來互斥。
　　在內核中，更多的是要保持內核各個執(zhí)行路徑之間的數(shù)據(jù)訪問互斥，這是最基本的互斥問題，即保持數(shù)據(jù)修改的原子性。semaphore的實現(xiàn)，也要依賴這個。在單CPU中，主要是中斷和bottom_half的問題，因此，開關中斷就可以了。在多CPU中，又加上了其他CPU的干擾，因此需要spinlock來幫助。這兩個部分結合起來，就形成了spinlock_XXX。它的特點是，一旦CPU進入了spinlock_XXX，它就不會干別的，而是一直空轉，直到鎖定成功為止。因此，這就決定了被spinlock_XXX鎖住的臨界區(qū)不能停，更不能context switch，要存取完數(shù)據(jù)后趕快出來，以便其他的在空轉的執(zhí)行路徑能夠獲得spinlock。這也是spinlock的原則所在。如果當前執(zhí)行路徑一定要進行context switch，那就要在schedule()之前釋放spinlock，否則，容易死鎖。因為在中斷和bh中，沒有context，無法進行context switch，只能空轉等待spinlock，你context switch走了，誰知道猴年馬月才能回來。
　　因為spinlock的原意和目的就是保證數(shù)據(jù)修改的原子性，因此也沒有理由在spinlock 鎖住的臨界區(qū)中停留。
　　spinlock_XXX有很多形式，有
　　spin_lock()/spin_unlock()，
　　spin_lock_irq()/spin_unlock_irq()，
　　spin_lock_irqsave/spin_unlock_irqrestore()
　　spin_lock_bh()/spin_unlock_bh()
　　local_irq_disable/local_irq_enable
　　local_bh_disable/local_bh_enable
　　那么，在什么情況下具體用哪個呢？這要看是在什么內核執(zhí)行路徑中，以及要與哪些內核執(zhí)行路徑相互斥。我們知道，內核中的執(zhí)行路徑主要有：

　　1 用戶進程的內核態(tài)，此時有進程context，主要是代表進程在執(zhí)行系統(tǒng)調用 等。
　　2 中斷或者異常或者自陷等，從概念上說，此時沒有進程context，不能進行
　　context switch。
　　3 bottom_half，從概念上說，此時也沒有進程context。
　　4 同時，相同的執(zhí)行路徑還可能在其他的CPU上運行。
　　這樣，考慮這四個方面的因素，通過判斷我們要互斥的數(shù)據(jù)會被這四個因素中
　　的哪幾個來存取，就可以決定具體使用哪種形式的spinlock。如果只要和其他CPU互斥，就要用spin_lock/spin_unlock，如果要和irq及其他CPU互斥，就要用
　　spin_lock_irq/spin_unlock_irq，如果既要和irq及其他CPU互斥，又要保存EFLAG的狀態(tài)，就要用spin_lock_irqsave/spin_unlock_irqrestore，如果要和bh及其他CPU互斥，就要用spin_lock_bh/spin_unlock_bh，如果不需要和其他CPU互斥，只要和irq互斥，則用local_irq_disable/local_irq_enable，
　　如果不需要和其他CPU互斥，只要和bh互斥，則用local_bh_disable/local_bh_enable，
　　等等。值得指出的是，對同一個數(shù)據(jù)的互斥，在不同的內核執(zhí)行路徑中，
　　所用的形式有可能不同(見下面的例子)。