最近，MIT學者Neil Thompson 和 Svenja Spanuth發(fā)表了一篇名為“The Declineof Computers as a General Purpose Technology”[1]的working paper，重點分析了為什么摩爾定律的終結與深度學習的興起會加速計算技術的專用化趨勢。本文就是對這篇大作的解讀。

我和Neil有一面之緣，他在伯克利哈斯商學院的博士課題就是研究IT產(chǎn)業(yè)對社會經(jīng)濟和生產(chǎn)力的影響。50多頁的論文讀著一氣呵成，遂整理讀書筆記加上一些我的注解投稿給唐杉老師，以饗讀者。

眾所周知，生產(chǎn)率（productivity）是衡量經(jīng)濟增長和經(jīng)濟水平的一個很重要的因素。計算機自20世紀中葉誕生以來用前所未有的速度改變著我們的生活，以美國為例，計算機技術帶動了自1974年以來的1/3生產(chǎn)率增長，居功至偉。

從產(chǎn)業(yè)發(fā)展的角度來看，通用計算的進步與普惠離不開堅實的經(jīng)濟后盾：一項新技術通過商業(yè)上的成功取得收益，然后繼續(xù)投入創(chuàng)新項目進一步擴大生產(chǎn)；科技的進步讓我們有機會用更加低廉的價格買到更強的算力。同時，經(jīng)濟學原理告訴我們，需求（demand）的增長會繼續(xù)拉動供給（supply），這樣的良性循環(huán)在過去幾十年里不斷地推動著通用計算產(chǎn)業(yè)的進步，CPU也成了芯片的代名詞。Intel公司的先知GordonMoore先生預見性地提出了以他名字命名的摩爾定律，幾十年增長氣勢如虹。

然而，當摩爾定律走向盡頭[2]，通用計算發(fā)展的步伐也不得不逐漸放緩。以2008年為轉折點，芯片的一個重要衡量指標性價比（performance/dollar）從之前的每年平均48%增長降低到了10%以下。

近年來，我們正看到一些芯片設計正在朝著專用化的方向演進。對比CPU，專用芯片的適用范圍很窄，但在特定領域能做得更好，性能達到數(shù)十倍甚至百倍的提升。我們看到以深度學習和比特幣挖礦為代表的新技術的興起，都將加速計算芯片技術專用化的進程，那些能得到專用芯片加速的應用將會在“快車道”上越走越快，而那些不能得到加速的應用將會隨著通用計算的沒落而一起停滯不前。

非常有意思的是，Neil還預言，這樣的專用化趨勢會最終影響到計算技術的進步，并進而影響到社會經(jīng)濟的發(fā)展。我深以為然，隨著信息和資本流動全球化，科技發(fā)展的馬太效應會越來越多地影響到社會經(jīng)濟的兩極分化。這樣的蝴蝶效應值得更多的有識之士關注。

通用芯片歷史：“天下大勢，分久必合，合久必分”

在過去的幾十年里，絕大多數(shù)人都在適用高度同質(zhì)化（homogeneous）的x86計算機，而CPU的快速發(fā)展迭代能夠把技術紅利集中地、“有感知地”釋放給大眾。然而，當計算系統(tǒng)變得更加專用化之后，分層就會顯現(xiàn)，異構（heterogeneous）的進程就會加快。在進一步討論其中的經(jīng)濟學原理之前，我們先來回顧一下芯片發(fā)展的一些歷史。

1969年，一家叫Busicom[3]日本公司打算為其計算器（calculator）產(chǎn)品線重新設計一款芯片。在這之前，計算器產(chǎn)品都是高度專用化的設計，即高效地做好規(guī)定操作；由于專用芯片缺乏靈活性，芯片設計完成之后就不能增加新的功能了。Intel作為一家剛剛成立一年的初創(chuàng)公司進入了Busicom的視野。偉大的公司自然有其過人之處，Intel從一開始就從戰(zhàn)略上選擇做一款可編程的通用芯片，并與Busicom一拍即合。這就是第一個通用處理器4004的開始，通過重寫軟件實現(xiàn)各種不用的應用功能極大地釋放了生產(chǎn)力，也從此開啟了Intel的芯片王朝。

從4004開始，CPU的性能至今已經(jīng)有了超過40萬倍的提升。從2000到2010年，PC機的年增長率高達9%（遠高于同期美國GDP增長）。截至2018年，全球PC機的保有量超過20億臺。而這些成就的取得并不是沒有代價的，根據(jù)Intel的SEC filling[4]，在過去十年總共投入了$1,830億美元用于研發(fā)和Fab的建設。放眼世界，由于新的晶圓生產(chǎn)線成本居高不下，有能力生產(chǎn)最前沿芯片制程的廠商，也從2000年的25家驟減到如今的4家。從2014年起，Intel的固定成本（R&D + Additional PP&E）已經(jīng)開始超過了其可變成本（COGS = Net Revenue – Gross Margin）支出（見下圖財務報表）。

正是由于成本結構的變化，Intel在2016財年的10-K filing里面明確了將放緩科技迭代，并從之前的tick-tock轉向process-architecture-optimization模式[5]。一場變革正在悄然醞釀之中，最明顯的就是TOP500計算機中使用專用加速芯片的比例正在逐年提高。

專用加速芯片的興起

Domain Specific的專用芯片是計算機體系結構黃金時代大復興的四個方向之一，唐杉老師的專欄（黃金時代，StarryHeavensAbove AI芯片文章導讀）已經(jīng)講了好多專用芯片的好處，此處不再贅述。總結一下專用芯片適用的四個主要場景：

1. 計算能夠大量并行處理的（parallelism）

2. 計算pattern是非常整齊的（regularity）

3. 不需要過多訪問memory的（locality）

4. 可以用更低精度（precision）等效替代的

由于專用芯片不需要在通用性和兼容性上做太多妥協(xié)，往往在性價比和能效上（energyefficiency）上更優(yōu)。

而一款專用芯片的成功與否和其開發(fā)生態(tài)也息息相關。就拿我讀研究生時候同時期出來的Cell和GT8800為例，雖然Cell芯片在很多技術點上有可取之處，又成功在PS3游戲機上落地，但由于非常難開發(fā)（還有人記得斯坦福開發(fā)的Sequoia 么？），三年之后不得不灰溜溜得退出市場，從此沒有第二代（插曲：記得當時有***買了大量Playstation后來被截獲，原本準備拆了當導彈芯片的，那真是有勇氣啊！）；而NVIDIA的GT8800配合CUDA橫空出世，不僅一舉為皮衣教主在十年后的AI賽道上封神打下了堅實的基礎，也讓我等晚輩看到了并行計算的光明前景由此入了GPU的行。而之后，ImageNet挑戰(zhàn)賽讓GPU以算力打開了深度學習新局面的故事想必大家也都已經(jīng)耳熟能詳。現(xiàn)在炒得火熱的AI芯片們有多大的決心做生態(tài)做軟件，也將很大程度上決定他們未來的命運。

通用和專用之爭

在比較芯片之前，我們再來看歷史上另一個關于通用和專用的爭論，或許能對我們現(xiàn)在討論的芯片專用化的趨勢有所啟示。

20世紀之初，家用廚房用具開始逐漸電器化，而小型馬達的價格在那時還是居高不下。以一個帶電動馬達的縫紉機為例，其1917年的售價高達$35美元，相當于一戶普通人家一個月28%的收入。Hamilton-Beach公司看到了用戶的痛點，并快速設計出了一款售價只有$11.5美元，并能匹配大部分家電的通用馬達。

按照通常的邏輯發(fā)展，通用馬達應該成為標準。根據(jù)之前提到的產(chǎn)品改進->擴大市場->追加投資的理論，似乎Hamilton-Beach公司在不斷改良降低成本之后，通用馬達應該成為家家戶戶電器里必備的裝備。

然而事實的發(fā)展并非如此，在100多年后的今天，我們看到家里電器的馬達并非是通用的。我們的家電設備因為功率、體積和用途的不同，其馬達都是專用的！究其原因，Neil認為無非是兩邊性價比誰提高地快的問題（在同等的情況下理性人通常會愿意選擇功能更多的通用產(chǎn)品），例如假設一個能帶動大功率攪拌機的通用馬達能比一個小電扇的專用馬達價格更低，自然會有受眾。然而，工程師們無法設計出一種既省錢又好用的通用產(chǎn)品。由于通用的馬達并不能給所有的產(chǎn)品帶來收益，相反大功率馬達價格premium居高不下，而低成本的馬達也同樣也有足夠大的市場，產(chǎn)品分層帶來的各種專用化最終戰(zhàn)勝了通用。

對于芯片行業(yè)來說，通用CPU借助摩爾定律高速發(fā)展在最初幾十年很好地回答了上面性價比的問題，而當摩爾定律的魔力不在之時，CPU則很難避免通用馬達一般的命運。

當我們把專用芯片的性能作為常數(shù)，而通用芯片的進步模擬成一個階梯函數(shù)，則通用和專用芯片的優(yōu)勢對比可以簡單地用下圖模型表示（Neil在文中還推理了一個比較復雜的數(shù)學公式，這里也不展開贅述）。藍色（通用占優(yōu)）和灰色（專用占優(yōu)）面積孰大孰小則表示應該選取那種芯片。

收益與經(jīng)濟規(guī)模也有很大關系，根據(jù)Neil的復雜公式推理，如果一個專用芯片有10倍于通用的性能，那至少需要167,000塊芯片的出貨量來支撐；而如果僅有2倍的speedup，則需要至少有1百萬塊芯片來攤薄固定成本！且不論這個數(shù)學模型精確與否，比特幣礦機和TPU的出現(xiàn)已經(jīng)能充分說明這類經(jīng)濟規(guī)律的合理性-只要有足夠大的市場和足夠高的收益（性能提升），人們會毫不猶豫地搞專用化。

經(jīng)濟規(guī)律和總結

芯片的專用化已經(jīng)很好地在比特幣和深度學習的場景中展現(xiàn)，那讓我們來推演一下其中哪些經(jīng)濟規(guī)律和邏輯在這場變革中起著主導作用，并不斷推波助瀾。

1. 如前文所述，能生產(chǎn)最先進制程芯片的廠商越來越少。這意味著每家廠商的平均市場份額從當年的4%提高到了25%，相當于年均14%的增長，行業(yè)的consolidation足以抵消成本上升帶來的影響。

然而，這樣的合并是不可持續(xù)的（如果按照之前的趨勢，再過不到10年，市場就只能支撐1家芯片制造商），這也就意味著為了攤薄更先進制程的生產(chǎn)線帶來的成本上升問題，制程的推陳出新將會變得越來越慢，而通用CPU所能享受到的技術紅利（階梯函數(shù)）也將大大受其影響。基于前文引述的財報數(shù)據(jù)，固定成本已經(jīng)占據(jù)了Intel成本結構的大頭，攤薄是個大問題–換言之，Intel當前10nm產(chǎn)線delay的問題真的是技術問題還是經(jīng)濟問題，這個真的很難說！

2. 科技發(fā)展同樣遇到了瓶頸，大約10多年前，Dennard scaling[7]的失效已經(jīng)預示著芯片的性價比提升無法持續(xù)。而三星最近的研究表明，隨著晶體管越變越小，單位晶體管成本已經(jīng)抵達拐點不降反升了！當科技紅利無法持續(xù)，人們會越來越多選擇更成熟也更便宜的制程節(jié)點，這又反過來延緩了新技術的鋪開和成本攤薄。

3. 當通用CPU無法如之前那樣勢如破竹地提高性價比的時候，不自覺地階梯函數(shù)的收益就會往下降，而當越來越多的人大量選擇通過專用芯片來加速的時候，一個類似的關于專用芯片的良性循環(huán)周期也已開始。

總結一下，有這么幾個論斷：

1. 通用CPU還會在未來相當長一段時間內(nèi)作為一種成熟穩(wěn)定、發(fā)展緩慢的技術而存在。

2. 未來的芯片和數(shù)據(jù)中心將會是全面異構的，GPU、AI芯片、FPGA和其他加速器都會是其中的一部分。

3. 那些不能很好被專用芯片加速的應用（例如已經(jīng)被證明失敗的數(shù)據(jù)庫加速芯片）、那些雖然能夠被加速但無法大量落地的應用，以及那些不能利用云的規(guī)模效應的應用，都將被遠遠地甩在后面。

后記

“天之道，損有余而補不足；人之道，損不足以奉有余。”

社會、經(jīng)濟和科技發(fā)展到一定階段必然會導致兩極分化。那些時代寵兒們將會不成比例地獲取社會資源和享受福利的傾斜，而剩下的那些則很有可能持續(xù)陷入到不能自拔的“新常態(tài)”中去。如果社會的進步不能如CPU的高速發(fā)展一般為大部分人所“感知”，那社會體制的失衡就會愈發(fā)明顯，進而影響整體的經(jīng)濟發(fā)展和進步。資本的逐利性和人們自我意識的覺醒會是一個持續(xù)的矛盾，只不過這次專用芯片這只蝴蝶揮動了一下翅膀。