谷歌大腦研究人員剛剛在官博上宣布了他們的最新研究成果，使用深度學習分析視網膜圖像，以此預測心血管疾病突發的風險。使用深度學習來獲得人體解剖學和疾病變化之間的聯系，這是人類醫生此前完全不知道的診斷和預測方法，不僅能幫助科學家生成更有針對性的假設，還可能代表了科學發現的新方向。

谷歌AI發現了人類醫生尚未發現的診斷方法：用深度學習找到視網膜圖像與心血管疾病聯系

心臟病發作、中風和其他心血管疾病仍是最重要的公共衛生問題。評估這種風險是未來減少患者遭受心血管疾病的第一步。為了做這個評估，醫生將各種風險因素納入考慮，例如：遺傳因素（如年齡和性別），生活方式因素（如吸煙和血壓）。雖然可以通過簡單詢問患者來獲得大多數上述信息，但其他因素（如膽固醇）則需要抽血。醫生還要考慮患者是否患有其他疾病，如糖尿病，這與心血管疾病風險顯著增加有關。

最近，我們看到了很多用深度學習技術幫助提高醫學成像診斷準確性的案例，尤其是糖尿病眼病。在《自然》子刊 Nature Biomedical Engineering中發表的《使用深度學習從視網膜基底照片中預測心血管危險因子》中，我們展示了除了檢測眼病外，眼睛的醫學圖像還可以非常準確地預測心血管健康的其他指標。這一發現令人異常興奮，因為它表明通過視網膜圖像，我們可能會發現更多診斷疾病的方法。

通過在來自284335名患者數據上訓練的深度學習算法，我們能夠從12026名和999名患者的兩個獨立數據集中患者的視網膜圖像，以驚人的高準確度預測病人的心血管疾病風險因子。例如，我們的算法通過視網膜圖像區分吸煙者與不吸煙者的準確率有71%。此外，雖然醫生通常可以區分嚴重高血壓患者和正?；颊叩囊暰W膜圖像，但我們的算法可以進一步預測在11 mmHg以內的患者平均收縮壓，包括患有或不患有高血壓的患者血壓。

左圖：眼球背部圖像顯示斑疹（中間的黑點），視盤（右側亮點）和血管（右側亮點旁的深紅線）。右圖：視網膜圖像呈灰色，使用了深度學習算法的像素可以預測血壓（綠色陰影高亮顯示）。我們發現每個心血管風險因子預測使用不同模式，例如血管用于血壓，視盤用于其他預測。

除了從視網膜圖像預測各種風險因素（年齡，性別，吸煙史，血壓等），我們的算法在直接預測心血管疾病風險方面準確率很高。算法使用整個圖像來量化圖像與心臟病發作／中風之間的關聯。基于兩張視網膜圖像，一張是（最多5年后）經歷過重大心血管疾?。ɡ缧呐K病發作）患者的視網膜圖像，另一張是沒有突發心血管疾病的患者的視網膜圖像，我們的算法能夠以70%的準確率識別出罹患心血管疾病的患者。這一數字接近需要抽血測量膽固醇的其他心血管疾病風險計算器的準確性。

更重要的是，我們通過使用Attention技術打開了“黑匣子”，以查看算法如何進行預測。這些技術使我們生成一個熱圖，顯示哪些像素對于預測特定的心血管風險因子最為重要。例如，如上圖所示，該算法更注重血管情況來預測血壓。解釋算法如何進行預測，可以讓醫生對算法本身更有信心。此外，這項技術有助于為將來對心血管風險和視網膜進行科學研究生成假設。

在最廣泛的層面上，我們對這項工作感到興奮，因為它可能代表了科學發現的新方法。傳統上，醫學發現通常是通過一種復雜的猜測和測試形式：通過觀察得出假設，然后設計和運行實驗來測試假設。然而，對于醫學圖像，由于實際圖像中存在的各種特征、圖案、顏色、值和形狀，觀察和量化關聯是困難的。我們使用深度來獲得人體解剖學和疾病變化之間的聯系，類似于醫生學會將體征和癥狀與診斷新疾病聯系起來。這可以幫助科學家生成更有針對性的假設，并推動未來的廣泛研究。

有了這些結果，還有很多科學工作需要去做。我們的數據集有許多標注有吸煙狀況、收縮壓、年齡、性別和其他變量的圖像，但只有幾百個心血管疾病的例子。我們期待在更大和更全面的數據集上開發和測試算法。為了確保這對患者有用，我們將試圖了解干預措施的效果，如生活方式改變或在風險預測基礎上的藥物治療，我們將生成新的假設和理論來測試。

谷歌使用深度學習分析視網膜圖像的里程碑事件

以上的最新突破，與谷歌在使用深度學習分析視網膜圖像方面的長期積累進展分不開。

16年11月，谷歌在《美國醫學會雜志》發表題為 “Development and Validation of a Deep Learning Algorithm for Detection of Diabetic RetinoPathy in Retinal Fundus Photographs”的論文，谷歌研究人員提出的一種基于深度學習的算法，該算法能夠在視網膜造影中對糖尿病視網膜病變的跡象做出解釋，幫助醫生克服資源短缺資困難，為更多的病人做出更專業的診斷。

任務：糖尿病性視網膜病變是致盲的主要成因之一，主要由眼睛后部細小血管損傷引起。這是通過觀察眼睛的背面，可以看到血管。所以這是一個感知任務。他們訓練了一個深度學習系統，執行與糖尿病視網膜病變評估相關的幾項工作。文章標題中所提到的結果是評估“可參考”的糖尿病性視網膜病變，其正在檢測中度或更差的眼睛疾?。ㄔ摻M患者的治療方式與“不可參考”眼病患者的治療方式不同）。他們還評估了識別嚴重視網膜病變并檢測黃斑水腫的能力。

數據：他們對13萬個視網膜照片進行了訓練，每個級別由3到7名眼科醫生進行評估，最終的標簽以多數票決定。圖像來自使用各種相機的4個位置（美國EyePACS和3家印度醫院）的康復臨床數據集。

網絡模型：他們使用了Google Inception-v3深層神經網絡的預訓練版本，這是目前使用最好的圖像分析系統之一。預訓練通常意味著他們已經接受過訓練的網絡來檢測非醫療物體（如貓和汽車的照片），然后進一步對特定醫學圖像進行了訓練。這就是為什么網絡只能接受229 x 299像素的圖像。

結果：這篇論文我認為是醫學深度學習的第一個大突破。他們的AI系統獲得了與單個眼科醫生相同水平的表現，在于眼科醫生的平均水平相比時，也不落下風。

圖：彩色的點是人類眼科醫生，黑線是谷歌的深度學習系統

與人類以上相比，他們的系統在檢測黃斑水腫上做到了相同的水平，但是在更嚴重視網膜病變絕對值（AUC值）上要差一些。

關于這一研究的10點總結

Google（和合作者）訓練了一個系統，以檢測糖尿病視網膜病變（其導致全世界5％的失明），系統的表現與一組眼科醫生的表現相當。

這是一個有用的臨床任務，這可能不會節省大量資金，也不會在自動化的時候取代醫生，但具有很強的人道主義動機。

他們使用130,000個視網膜圖像進行訓練，比公開的數據集大1到2個數量級。

他們用更多陽性的案例豐富了他們的訓練集，大概是為了抵消訓練對不平衡數據的影響（一個沒有共識性的解決解決方案的問題）。

由于大多數深度學習模型都針對小型照片進行了優化，所以圖像被大量采樣，丟棄了90％以上的像素。目前看來，我們還不知道這是不是件好事。

他們使用一組眼科醫生來標注數據，很可能花費了數百萬美元。這是為了獲得比任何單個醫生的解釋更準確的“真正的真相”。

第5點和第6點是所有當前醫學深度學習系統的錯誤來源，而且人們對這些話題知之甚少。

深度學習系統比醫生有優勢，因為它們可以用于各種“操作點”。相同的系統可以執行高靈敏度篩選和高特異性診斷，而無需再訓練。所涉及的trade-off是透明的（不像醫生）。

這是一個很好的研究。它在可讀性上是令人難以置信的，并在文本和補充中包含了大量有用的信息。

該研究似乎符合目前FDA對510（k）法案的要求。雖然這項技術不太可能要通過這一手續，但是該系統或衍生物完全可能在未來一兩年內成為臨床實踐的一部分。

另一主力DeepMind，用機器學習診斷三大眼疾，或幾年后進入臨床試驗

而早在2016年6月，谷歌醫療的另一大主力DeepMind，就開始在視網膜醫療圖像方面，使用機器學習發力。

視網膜3D掃描圖

那也是DeepMind開展的第一個純粹以研究為基礎的（research-based）健康項目。此前，NHS旗下眼科醫院已經讓DeepMind全權訪問超過160萬患者的病例和數據。研究計劃通過篩選100萬眼部掃描圖像，幫助醫生發現視覺衰退的早期跡象。最初聚焦如何讓AI自動診斷糖尿病視網膜病變和年齡相關黃斑變性。原因是這兩種疾病都是影響大，而且一旦成功就收效很高的案例——相比其他患者，糖尿病患者更可能遭受視力喪失，而年齡相關性黃斑變性是英國失明最常見的原因；這兩種視力問題，如果能在早期診斷出來，都能提供更有效的治療。

現在，與英國NHS和倫敦的摩爾菲爾茲眼科醫院（世界上最著名的眼科醫院之一）合作了兩年后，該研究已經展現出希望，成果也預計在醫學期刊發表。具體說，DeepMind的算法使用摩爾菲爾茲提供的匿名3D視網膜掃描進行訓練，訓練使用的圖像都經過了醫生的嚴格標記。由于圖像提供了數百萬像素的豐富數據信息，該算法使用機器學習分析三種最嚴重的眼?。呵喙庋邸⑻悄虿⌒砸暰W膜病變和年齡相關性黃斑變性的征兆。

就在2月5日，DeepMind Health的臨床主管Dominic King告訴英國《金融時報》，如果通過同行評審，這項技術可以在幾年內進入臨床試驗階段。King表示：“在像醫學影像這樣的特定領域，你可以看到未來幾年內我們用人工智能取得巨大的進步……機器學習處理更敏感、更具體的問題?！?/p>

DeepMind表示，下一階段將通過與倫敦大學醫院和倫敦帝國理工學院合作，分別培訓分析放射線掃描和乳房X光的算法。

醫療是最容易受到AI影響的行業，獨立的AI診斷中心前景可期

普華永道去年10月發布的名為“探索 AI 革命”的全球AI報告，特別推出了“AI 影響指數”，對最容易受到 AI 影響的行業進行了排名。其中，醫療和汽車并列第一位。

AI影響評分從1-5（1是最低的影響，5最高），醫療和汽車都是3.7分，并列第一：

而實際上，從 2011 年開始，醫療領域一直高居 AI 行業應用前列。CB Insights 曾發布過 AI 應用的“行業熱圖”，可以直觀地看出智能醫療的火熱程度。

從全球范圍來看，IDC 在其《全球半年度認知/人工智能支出指南》中將醫療人工智能統列為2016年吸引最多投資的領域之一，并表示在未來五年內，包括醫療人工智能+診斷和治療系統的使用案例將獲得最大的發展。在五年期間，它預測醫療健康人工智能投資的年復合增長率為69.3%。

說回到普華永道的最新報告。該報告以“基于數據的診斷支持”作為智能醫療的高潛力用例，認為“人工智能最初可能被作為人類醫生的輔助來采納，而不是替代人類醫生。這將改善醫生的診斷，但此過程也為 AI 學習提供了有價值的見解，讓其可以不斷學習和改進。人類醫生和 AI 驅動的診斷之間的這種持續的相互作用將提高系統的準確性，并且隨著時間的推移，人類將有足夠的信心完全授權 AI 系統進行自主操作。”

實際上，這一美好前景已展現出了些許萌芽。如依靠計算機視覺的智能醫療影像識別，已經隨著深度學習等技術的使用，來到了“超越人類水平”的臨界點。同時，2017 年 8 月，國家衛計委在新聞發布會上也傳達出一個重要信息：將在已有的 5 類可獨立設置的醫療機構上，再增加 5 類獨立設置的醫療機構類別（包括病理診斷中心、康復醫療中心等等）。隨著支持社會辦醫的政策落實，醫療的“牌照”價值正在下降，未來很有可能出現獨立的 AI 診斷中心，直接為患者提供診斷服務。