(文章來源:讀芯術)
深度學習已經改變了我們處理數據的方式,通過使用日益增長的計算“廉價”資源(摩爾定律)來解決現實世界問題,并且能夠完成一些人腦幾乎毫不費力就能完成的認知任務,例如圖像分類,自然語言處理,視頻處理等等。
但這些任務具有的大多數數據和結構通常是在歐幾里得空間中表示的。然而,我們目睹了越來越多的問題,這些問題生成的數據來自非歐幾里得域,它們更適合被表示為具有復雜關系和對象之間相互依賴關系的圖。圖數據的復雜性給經典ML算法和現代DL算法帶來了重大挑戰。近來出現了許多擴展DL方法使之用于圖數據的研究。
花點時間想像一下,如果我們收集了所有“獲批”藥物或一般藥物的結構,并訓練一個GNN來學習藥物的分子模式/結構,它會學會識別在此處或太空中發現的分子是不是藥物。我相信結果可能相當令人驚訝,并且能幫助我們發現或重新發現可以治愈如今被認為無法治愈的疾病的藥物。如果考慮大多數疾病甚至死亡本身都可以看作是技術問題。那么為什么有些生物可以活幾百年而有些只能活幾十年?我們可以無限延長壽命嗎?
GNNs與對應的DL算法具有相似的屬性,它能夠進行回歸,分類,為空節點和邊生成數據,以及許多尚待發現的功能。該領域仍處于起步階段,誰也不知道幾年內我們能做些什么,以及用從現在開始的幾千篇論文做些什么。對我來說,最有趣的是推薦以及醫療領域的應用,其中醫療領域為no.1。
如今,圖可能是不規則的,一張圖可能具有可變數目的無序節點,并且圖中節點可能具有不同數量的鄰居,從而導致一些在圖像領域中易于計算的重要的操作(例如卷積),很難應用于圖域。此外,現有機器學習算法的核心假設是實體相互獨立。該假設不再適用于圖數據,因為每個實體(節點)通過各種類別的鏈接(例如引文,好友和交互)與其他實體(節點)相關聯。但這不是障礙,因為最近我們看到人們對擴展或者應該說是移植深度學習算法到圖領域(尤其是設計來用于圖數據)的興趣日益濃厚。
卷積神經網絡(ConvNets)不在本文討論范圍之內。循環圖神經網絡(RecGNNs)大多是圖神經網絡的開創性作品。RecGNN旨在學習具有循環神經架構的節點表示。它們假設圖中的節點不斷與其鄰居交換信息/消息,直到達到穩定的平衡。RecGNNs在理論上很重要,它啟發了后來對卷積圖神經網絡的研究。特別地,消息傳遞的思想被基于空間的卷積圖神經網絡所繼承。
卷積圖神經網絡(ConvGNNs)將卷積運算從網格數據推廣到了圖形數據。主要思想是通過聚合節點自身的特征和鄰居的特征來生成節點的表示,其中。與RecGNNs不同,ConvGNNs堆疊多個圖卷積層以提取高級節點表示。ConvGNNs在建立許多其它的復雜GNN模型中起著核心作用。圖2a展示了用于節點分類的ConvGNN。圖2b展示了用于圖分類的ConvGNN。
圖自動編碼器(GAEs)是無監督的學習框架,可將節點/圖編碼到潛在的矢量空間中,并通過編碼后的信息重建圖數據。GAEs用于學習網絡嵌入和圖生成分布。對于網絡嵌入,GAEs通過重建圖結構信息(例如圖鄰接矩陣)來學習潛在節點表示。對于圖生成,某些方法逐步生成圖的節點和邊,而其他方法則一次全部輸出圖形。圖2c展示了一個用于網絡嵌入的GAE。
時空圖神經網絡(STGNNs)旨在從時空圖中學習隱藏的模式,這種模式在各種應用中變得越來越重要,例如交通速度預測,駕駛員操縱預期和人類動作識別。STGNNs的關鍵思想是同時考慮空間依賴性和時間依賴性。許多當前的方法將用來捕獲空間依賴性的圖卷積和用來對時間依賴性進行建模的RNNs或CN
圖分類旨在預測整個圖的類標簽。可以通過圖卷積層,圖池層和/或讀出層的組合來實現此任務的端到端學習。圖卷積層負責精確的高級節點表示,而圖池化層則充當下采樣的角色,從而每次將每個圖都粗化為子結構。讀出層將每個圖的節點表示折疊為圖表示。通過將多層感知器和softmax層應用于圖表示,我們可以構建用于圖分類的端到端框架。在圖2b中給出了一個例子。
當圖中沒有可用的類標簽時,可以在端到端框架中以完全無監督的方式學習圖嵌入。這些算法以兩種方式利用邊級信息。一種簡單的方法是采用自動編碼器框架,其編碼器使用圖卷積層將圖嵌入到潛在表示中,在其上使用解碼器來重構圖結構。另一種流行的方法是利用負采樣方法,該方法將一部分節點對采樣為負對,而圖中具有鏈接的現有節點對為正對。然后應用邏輯回歸層來區分正對和負對。
(責任編輯:fqj)
-
神經網絡
+關注
關注
42文章
4781瀏覽量
101189 -
深度學習
+關注
關注
73文章
5516瀏覽量
121571
發布評論請先 登錄
相關推薦
評論