沒有完美的代碼

沒有完美的人，更沒有完美的代碼。雖然教科書上說deadlock（死鎖）多么不好不好，但是在現(xiàn)實(shí)生活中，很難把它完全消滅。假設(shè)不小心內(nèi)核出現(xiàn)了deadlock，可能你得干瞪眼。CPU就在那里空等著，空轉(zhuǎn)著，叫天天不應(yīng)，叫地地不靈。等到海枯石爛，CPU生銹的那一天，它還會那么癡癡地等著那個(gè)霸占了鎖的家伙會良心發(fā)現(xiàn)，解下這個(gè)鎖。

也許你會說，哎呀，這么麻煩干嘛？RESET一下，不就一了百了嗎？但是如果是一臺肩負(fù)重?fù)?dān)的Server（服務(wù)器），在夜深人靜你正呼呼大睡的時(shí)候發(fā)生了deadlock呢？如果deadlock的原因沒有查到，三天五天就會發(fā)生一次，光這樣被動的重啟也不是辦法……

不用說讓人心驚膽顫的deadlock，很多時(shí)候，一段小小的循環(huán)，就會把你徹底雷到。我們總認(rèn)為循環(huán)是可以結(jié)束的，但是別要忘記，事物都是辯證的，有的時(shí)候，碰巧發(fā)生了某些預(yù)料之外的條件，讓這個(gè)循環(huán)成了徹徹底底的死循環(huán)。

恰巧此時(shí)，CPU的中斷如果已經(jīng)被禁掉，那神仙也救不了你。“我佛慈悲，能不能把循環(huán)給我停掉？”“阿彌陀佛，神仙也得遵守潛規(guī)則，你讓我給你停掉循環(huán)，好歹也要給我一個(gè)中斷，讓我能夠施法吧？”

……不能怪父母，更不能怪政府，如果你正好在電腦旁邊，可以RESET；如果你不在旁邊，就等著老板的電話吧。“小福啊，今天又超過100位客戶打電話投訴我們的交友網(wǎng)站不能訪問了，你趕緊打的到公司，看看是怎么回事。

趕緊啊！有個(gè)客戶說，如果今晚12點(diǎn)之前不能登錄網(wǎng)站，取得要約會的5位MM的詳細(xì)資料，他就會攜帶人體炸彈到辦公樓來砸場子……“

保留現(xiàn)場，強(qiáng)行重啟

言歸正傳。如果應(yīng)用程序進(jìn)入死循環(huán)，我們可以把它KILL掉。如果內(nèi)核因?yàn)橐饬现獾脑颍瑢?dǎo)致系統(tǒng)進(jìn)入無法自拔的死循環(huán)，最好的辦法就是讓系統(tǒng)給強(qiáng)行重啟。

當(dāng)然，這種重啟最好是自動的，不需要人干預(yù)的，且最好能夠打印出導(dǎo)致重啟的原因，便于開發(fā)者調(diào)試錯(cuò)誤。在Linux內(nèi)核中，用NMI看門狗（NMI Watchdog Timer)的方式來實(shí)現(xiàn)該機(jī)制。

在系統(tǒng)的正常運(yùn)行過程當(dāng)中，每秒都有非常多的中斷產(chǎn)生。即便它啥都不做，啥外部中斷都不接收，每秒至少有數(shù)以百計(jì)的用來給線程調(diào)度的時(shí)鐘中斷。（如果調(diào)度時(shí)間片為10ms，則有100個(gè)時(shí)鐘中斷。）假設(shè)如果內(nèi)核發(fā)現(xiàn)5秒鐘之內(nèi)，沒有產(chǎn)生一個(gè)中斷，那將會是怎么一回事呢？

這個(gè)時(shí)候，CPU會辯解道：“我兢兢業(yè)業(yè)地執(zhí)行每一條指令，有沒有中斷不干我的事，叫我干啥就干啥，我是真正的勞動模范，不要懷疑我會搗鬼。

中斷既來之，我就安之。不來之，則說明中斷已經(jīng)被禁掉了。肯定是有個(gè)幕后黑手已經(jīng)調(diào)用CLI之類的指令關(guān)閉了全局的外部中斷，然后偷偷摸摸干自己相干的事情，不被其他人給打斷。人都有自己的隱私嘛，代碼也不例外。

屏蔽中斷，執(zhí)行不被打斷的代碼，人之常情。但是用得不恰當(dāng)，如同毒品一樣，就會出現(xiàn)大問題。少量鴉片，可以當(dāng)作藥品；攜帶超過5克海洛因，就得上刑場。

禁掉中斷占用一點(diǎn)點(diǎn)CPU時(shí)間，可以讓程序很容易地繞開race condition（競爭條件）；但是如果中斷被禁掉的時(shí)間長達(dá)5秒鐘，那就違反常理了。5秒鐘之內(nèi)系統(tǒng)不會有其他響應(yīng)，其影響之深遠(yuǎn)，罪行之惡劣，不用滿清十大酷刑簡直不足以平息民憤……”

“該殺！該殺！”這個(gè)時(shí)候，內(nèi)存，芯片組，硬盤……所有硬件都附和。看來CPU還是一直是IT屆的老大。不怪我們不客氣了，趕緊打印出現(xiàn)場（CPU出現(xiàn)LOCKUP時(shí)的相關(guān)上下文，包括寄存器值，函數(shù)調(diào)用棧等），且記入LOG，作為判案的證據(jù)，同時(shí)有警示后人只用。接著，就對施以極刑，給內(nèi)核來一個(gè)oops，徹底終止它的執(zhí)行，讓它重新啟動。

少林掃地僧——NMI

不對，不對！也許你有這樣的感覺，既然5秒之內(nèi)沒有一個(gè)中斷，基本肯定中斷是已經(jīng)被禁掉了，那CPU就被迫只會一直執(zhí)行那段有問題的代碼，根本沒有機(jī)會來執(zhí)行所謂的“保留現(xiàn)場，強(qiáng)行重啟”的代碼。

這些代碼放在內(nèi)核的另外一個(gè)地方，要調(diào)用它，必須由中斷出發(fā)。可是，可是中斷不是已經(jīng)被禁了嗎？借尸還魂？恐怖，恐怖……

“再厲害的黑社會，也斗不過我們?nèi)嗣窬欤　边@個(gè)時(shí)候，CPU又冷笑了，“雖然中斷被禁掉了，但是，我還擁有秘密武器。那就是Non-maskable interrupt，不可屏蔽中斷，簡稱NMI。你要禁，只能禁掉一般的可屏蔽中斷。NMI，我壓根就讓你摸不著，碰不著！”

原來，內(nèi)核中隱藏著一個(gè)神秘的高手，那就是NMI。我們調(diào)用spin_lock_irq，雖然能夠禁掉本地的中斷，但是NMI卻不行。

內(nèi)核中設(shè)置了一個(gè)watchdog timer，它的中斷類型就被置為NMI，每過一定的時(shí)間，這個(gè)timer就執(zhí)行一次，用來悄悄監(jiān)視系統(tǒng)的運(yùn)行。

如果系統(tǒng)正常，它啥事都不做，僅僅是更改一些時(shí)間計(jì)數(shù)；如果系統(tǒng)不正常（默認(rèn)5秒沒有任何普通外部中斷），那它就閑不住了，會立馬跳出來，且中止之前程序的運(yùn)行。該出手時(shí)就出手！

我想到了在血腥的武林當(dāng)中，有無數(shù)的高手。剛開始的時(shí)候，似乎人人都是高手；但后來，昔日的高手看起來都是菜鳥，強(qiáng)中更有強(qiáng)中手。再后來，更高的高手出來了，開始這里論劍那里比武，爭霸天下了。

最后來，天下也許是第一第二的高手開始決戰(zhàn)……似乎故事就這個(gè)時(shí)候結(jié)束了，但是讓人大跌眼鏡的是，一個(gè)小小的少林掃地僧，卻能輕易地兩位頂尖高手制服。

NMI就是這樣的角色，平時(shí)從不站在前臺，也很少為人所知。除了用NMI watchdog timer監(jiān)測系統(tǒng)是否鎖住之外，一些特殊的嚴(yán)重的硬件錯(cuò)誤，比如內(nèi)存奇偶校驗(yàn)錯(cuò)等，也會觸發(fā)NMI的發(fā)生。不過這些錯(cuò)誤，估計(jì)很多人從來不會碰到過。

More

如果出現(xiàn)死循環(huán)的地方?jīng)]有把中斷禁掉，那是不是不會觸發(fā)NMI watchdog timer了呢？

理論上是的。至少Linux2.6的搶占內(nèi)核應(yīng)該不會觸發(fā)。但是，由于系統(tǒng)還是有機(jī)會調(diào)度到其他線程，所以整個(gè)系統(tǒng)可能響應(yīng)很慢，但不至于給死掉。我們可以通過top命令查看進(jìn)程狀況等手段來進(jìn)行分析。

不是所有的Linux內(nèi)核都支持NMI watchdog timer的。必須在內(nèi)核中添加APIC的支持。（現(xiàn)在的內(nèi)核和硬件一般都是沒有問題的）如果是x86-64的硬件體系結(jié)構(gòu)，APIC是被默認(rèn)支持的。

在很多發(fā)行版本當(dāng)中，需要在啟動的時(shí)候添加內(nèi)核啟動參數(shù)nmi_watchdog=N來啟動NMI watchdog timer。N代表了該timer的source，如果為1，表示利用IO APIC的始終源；如果為2，表示利用LOCAL APIC的performance counter。

具體哪個(gè)好用，可以分別測試一下，一般來說，比較新的CPU（一般都是雙核了）選擇2的話，系統(tǒng)負(fù)擔(dān)更小一點(diǎn)。
編輯：黃飛