知識圖譜嵌入(KGE)是一種利用監督學習來學習嵌入以及節點和邊的向量表示的模型。它們將“知識”投射到一個連續的低維空間，這些低維空間向量一般只有幾百個維度（用來表示知識存儲的內存效率）。向量空間中，每個點代表一個概念，每個點在空間中的位置具有語義意義，類似于詞嵌入。

一個好的KGE 應該具有足夠的表現力來捕獲 KG 屬性，這些屬性解決了表示關系的獨特邏輯模式的能力。并且KG 可以根據要求添加或刪除一些特定屬性。KGE算法可分為兩類：

• 翻譯距離模型 （translation distance models），如TransE、TransH、TransR、TransD等。
• 語義匹配模型 （semantic matching models），如DistMult。

以下是常見的KGE 模型在捕獲關系類型方面的比較，我們將對這些常見的模型進行比較

翻譯距離模型

TransE

提出了一種基于翻譯的知識圖譜嵌入模型，可以捕獲多關系圖中的翻譯方差不變性現象。知識圖譜中的事實是用三元組 ( h , l , t ) 表示的，transE算法的思想非常簡單，它受word2vec平移不變性的啟發，希望h + l ≈ t h+l≈th+l≈t。

這里的l1/l2是范數約束。

TransE的偽代碼如下：

TransE多次在大規模知識圖譜方面表現出良好的性能。但是它不能有效地捕獲復雜的關系，如一對多和多對多。

TransH

TransH根據關系為每個實體提供不同的表示向量。TransH的工作原理是為每個關系發布一個完全獨立的特定于關系的超平面，這樣與它關聯的實體僅在該關系的上下文中具有不同的語義。TransH將實體嵌入向量h和t投影到映射向量W?方向的超平面(關系特定)。

其中D?表示關系特定的平移向量，h和t的計算方法如下:

TransH 在一定程度上解決了復雜關系問題。它采用相同的向量特征空間。

TransR

TransR的理念與TransH非常相似。但它引入了特定于關系的空間，而不是超平面。實體表示為實體空間R?中的向量，每個關系都與特定空間R?相關聯，并建模為該空間中的平移向量。給定一個事實，TransR首先將實體表示h和t投影到關系r特定的空間中:

這里M?是一個從實體空間到r的關系空間的投影矩陣，評分函數定義為

它能夠對復雜的關系建模。但是每個關系需要O(dk)個參數。沒有TransE/TransH的簡單性和效率。

TransD

TransD是TransR的改進。它采用映射矩陣，為頭部和尾部實體生成兩個獨立的映射矩陣。它使用兩個嵌入向量來表示每個實體和關系。第一個嵌入向量表示實體和關系的語義，第二個嵌入向量生成兩個動態投影矩陣，如下圖所示。

評分函數如下：

下表是總結所有翻譯距離模型的對比

語義匹配模型

RESCAL

RESCAL將每個實體與一個向量相關聯，捕獲其潛在語義。每個關系都表示為一個矩陣，它模擬了潛在因素之間的成對相互作用。事實(h,r,t)的分數由雙線性函數定義。

其中h,t∈R?是實體的向量表示，M?∈R?*?是與該關系相關的矩陣。這個分數捕獲了h和t的所有分量之間的成對相互作用，每個關系需要O(d2)個參數，并進一步假設所有 M? 在一組通用的 rank-1 指標上分解。

它最大的問題是計算復雜且成本高。

TATEC

TATEC模型不僅有三種相互關系，它還包含雙向交互，例如實體和關系之間的交互。評分函數為

其中D是所有不同關系共享的對角矩陣。

DistMult

通過將M?限制為對角矩陣，DistMult簡化了RESCAL。對于每個關系r，引入一個向量r∈r?，并要求M?= diag(r),評分函數如下：

DistMult優點就是計算簡單，成本低。但是因為模型過于簡化，只能處理對稱關系。對于一般kg來說，它不夠強大。

Holographic Embeddings(HolE)

HolE結合了RESCAL的表達能力和DistMult的效率和簡單性。它將實體和關系重新表示為R?中的向量。給定一個事實(h,r,t)，通過使用循環相關操作，首先將實體表示組合成h*t∈r?：

采用*的主要目的是利用壓縮張量積形式的復合表示的降低復雜性。HolE利用了快速傅里葉變換，可以通過以下方式進一步加速計算過程:

HolE每個關系只需要O(d)個參數，這比RESCAL更有效。但是HolE不能對不對的稱關系建模，但在一些研究論文中，把它與擴展形式HolEX混淆了，HolEX能夠處理不對稱關系。

Complex Embeddings (ComplEx)

Complex通過引入復值嵌入來擴展DistMult，以便更好地建模非對稱關系。在ComplEx中，實體和關系嵌入h,r,t不再位于實空間中，而是位于復空間中，例如C?。

這個評分函數不再對稱，來自非對稱關系的事實可以根據所涉及實體的順序獲得不同的分數。作為共軛對稱施加于嵌入的特殊情況，HolE可以被包含在ComplEx中。

ANALOGY

ANALOGY 擴展了RESCAL，可以進一步對實體和關系的類推屬性建模。它采用了雙線性評分函數。

DistMult, HolE和ComplEx都可以作為特殊情況在ANALOGY上實現。

以下是語義匹配模型的對比總結：

Deep Scoring Functions

對于深度學習進步，還出現了基于深度學習的評分函數

ConvE

ConvE是第一個使用卷積神經網絡(CNN)來預測知識圖譜中缺失環節的模型之一。與完全連接的密集層不同，cnn可以通過使用很少的參數學習來幫助捕獲復雜的非線性關系。ConvE在多個維度上實現了不同實體之間的本地連接。

concat為連接運算符，*表示卷積，e?和e?分別負責主題單元和關系單元的二維重塑。

ConvE不能捕獲三元嵌入的全局關系

ConvKB

ConbKB使用1D卷積來保留TransE的解釋屬性，捕獲實體之間的全局關系和時間屬性。該方法將每個三元網絡嵌入為三段網絡，并將其饋送到卷積層，實現事實的維類之間的全局連接。

其中Ω(過濾器集)，e(權重向量)表示共享參數。

HypER

HypER將每個關系的向量嵌入通過密集層投影后完全重塑，然后調整每層中的一堆卷積通道權重向量關系，這樣可以有更高的表達范圍和更少的參數。

vec是將一個向量重新塑造為一個矩陣，非線性f是ReLU。

模型的空間復雜度和時間復雜度的比較