對于“未來的算法能與現有半導體芯片或正在開發之新運算架構契合”這件事，我們能抱持多大的信心？隨著算法的進展速度超越硬件技術進展進步，甚至是最先進的深度學習模型都可以被布署于只要5美元的Raspberry Pi開發板。

在1980年代的處理器上執行目前最先進的算法，與在目前最先進的處理器上執行1980年代之算法，哪一種可以算得更快？答案令人驚訝，通常是在舊處理器上執行新算法能算得更快。雖然摩爾定律(Moore’s Law)因為是電子產業快速發展的驅動力而備受關注，但它只是驅動力的其中之一，我們經常忘記算法的進展速度其實在很多情況下都勝過摩爾定律。

根據德國柏林工業大學教授、知名數學家Martin Gr?tschel的觀察，在1988年需要花費82年才能算出解答的一個線性程序設計問題，在2003年只需要1分鐘就能解決；在這段時間，硬件的速度快了1,000倍，算法的進步則達到4萬3,000倍。

美國麻省理工學院(MIT)教授Dimitris Bertsimas的類似研究結果顯示，在1991年至2013年間，混合整數求解器(mixed integer solvers)算法速度快了58萬倍，同時間頂尖超級計算機的硬件速度只有進步32萬倍。據說類似的結果也發生在其他類型的約束優化(constrained optimization)問題和質因子分解(prime number factorization)問題中。

這對人工智能(AI)意味著什么？

過去五年來，AI無論在學界、業界或是新創領域都呈現爆炸性發展，最大的轉折點可能是發生在2012年，當時一個來自加拿大多倫多大學(University of Toronto)的團隊AlexNet，利用深度學習方法一舉贏得了年度計算機視覺影像辨識大賽ImageNet Large Scale Visual Recognition Challenge (ILSVRC)冠軍，自此深度學習就成為實現AI的關鍵方程式。

計算機視覺的演進已蔓延至自然語言處理和其他AI領域。智能喇叭、實時計算機翻譯、機器人對沖基金(robotic hedge funds)，以及web參考引擎(web reference engines)…等等新產物，已經不會再讓我們感到驚訝。

AI也成為了交通運輸產業的驅動力(這也是Autotech Ventures的投資目標之一)；我們已經觀察到，先進駕駛輔助系統(ADAS)、自動駕駛、車隊檢測(fleet inspection)、制造質量控制，以及車載人機接口等等應用領域具備龐大的發展潛力。到目前為止，我們已經投資了幾家在諸如ADAS、自動駕駛、視覺檢測與邊緣運算等應用領域開發AI解決方案的新創公司，在分析這些商機時，算法和硬件之間的交互作用是我們進行投資決策時的關鍵考慮因素之一。

大眾對AI硬件的關注

基于深度學習的AI在其轉折點之后，出現了對繪圖處理器(GPU)的強勁需求。由于具備很強的平行運算能力，GPU對于深度學習算法所采用的邏輯碰巧能展現驚人效率；GPU大廠Nvidia在市場競爭中脫穎而出，其股價從2013年到2018年上漲了20倍。

當然，Nvidia競爭對手們正在努力追趕；高通(Qualcomm)、Arm和其他公司將注意力集中在AI芯片設計上，英特爾(Intel)則收購了AI芯片新創公司Nervana Systems。Google、Facebook、蘋果(Apple)和亞馬遜(Amazon)紛紛投入了為自家數據中心及其他計劃開發自有AI處理器，也有一些新創公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看準商機，試圖設計更好的圖靈機(Turing machine)系統。像D-wave Systems和IBM等其他一些公司也在積極探索后圖靈時代的架構。大多數芯片開發的目標是趕上或超過Nvidia。然而，據我們所知，大多數處理器都是針對今日的AI算法進行設計。

盡管需要龐大的前期開發成本，我們仍將經歷各種AI芯片設計的“寒武紀大爆發”。AI前景如此誘人，讓產業玩家愿意投入巨資開發硬件，在以往是要讓硬件與基礎數學算法匹配，但對于讓現有半導體芯片或正在開發的新運算架構能與未來的算法契合，我們有多大的信心？

有鑒于算法的演進速度和幅度變化是如此之快，許多AI芯片設計可能還沒上市就過時了；我們推測明日的AI算法可能會需要完全不同的運算架構、內存資源，以及數據傳輸能力等等條件。

盡管深度學習框架已經出現很長一段時間，直到最近才真正被付諸實現，這要感謝摩爾定律所預測的硬件技術進展。最初的數學不一定是為工程實踐而設計的，因為早期研究人員無法想象今日花1,000美元就能獲得的運算能力有多么大。現今許多AI實作都是使用原始的數學模型，朝著準確、簡單且更深層的方向發展，或者添加更多數據；但這樣只會很快消耗GPU的運算容量。只有一小部分研究人員專注于改善基礎數學和算法框架的難題。

還是有很多機會認識并利用這些新穎的數學進展，我們所觀察到的方法包括精簡冗余數學運算(redundant mathematical operations)而減少運算時間，將卷積壓縮到較小的矩陣而減少內存需求，或者對加權矩陣進行二值化(binarize)而簡化數學運算。這些是算法演進的第一次嘗試，其發展之快已經開始超越硬件進展。

舉例來說，從美國加州大學伯克利分校(UC Berkeley)研究項目獨立的DeepScale ，就是將應用于ADAS和自動駕駛的AI，“塞進”車用芯片(不是GPU)，與僅采用算法的物體檢測模型相比較，他們的神經網絡模型的指令周期要快30倍，同時在功耗和內存占用方面也有很大的提升，足以在這幾年問世的現有硬件上執行。

另一個算法大躍進的案例來自美國的非營利研究機構艾倫人工智能研究所(Allen Institute of Artificial Intelligence)，該機構研究人員采用一種利用神經網絡二值化的創新數學方法，已經證明可以大幅提高速度，同時降低功耗和內存要求；如此甚至能讓最先進的深度學習模型布署于售價僅5美元的Raspberry Pi平臺上。研究人員最近將這種算法和處理工具獨立為一家公司XNOR.ai，旨在于邊緣設備布署AI，并進一步推動AI算法的進步。

有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的類型，它們不再需要解決神經網絡所需的32位浮點卷積，而只需要進行位計數運算(bit counting operations)——這將改變GPU領域的權力平衡。此外如果這些算法與專門設計的芯片相匹配，則可以進一步降低運算資源需求。

算法的進步不會停止；有時需要數年甚至數十年才能發明(或者說是發現)新的算法。這些突破無法以與摩爾定律推動的運算進展相同之方式來預測。它們本質上是非確定性的；但是當它們發生時，整個局勢變化通常會讓現有的主導者變成脆弱的獵物。

黑天鵝效應

暢銷書《黑天鵝效應：如何及早發現最不可能發生但總是發生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在書中闡明，最佳決策在很大程度上取決于分析過程是不可預測或不確定；換句話說，我們是在處理“已知的未知”(known unknowns)還是“未知的未知”(unknown unknowns)？算法創新基本上是未知的未知，因為它們的發現時間不確定以及影響不可預測，押注于這類發展需要持續的關注。

然而，在應用數學領域，尤其是AI應用領域，在最近二十年內出現了數次顛覆性的算法發現，它們與GPU一起，將AI從一個不起眼的研究領域帶到了商業化最前線。

我們意識到這些運算領域“黑天鵝”的潛力，它們將使現有芯片架構成為過去，或者在一夜之間讓它們的市場地位重新洗牌。對我們來說，這些「黑天鵝」最后可能會實現更安全的自動駕駛車輛，以及許多其他未知的應用案例。