引言

知識圖譜嵌入 knowledge graph embedding是將包含實體和關(guān)系的知識圖譜三元組嵌入到高維向量空間中，獲得實體和關(guān)系的數(shù)值表示，提取圖中相關(guān)信息，并進行后續(xù)運算推斷。常用于知識圖譜補全 (KG completion)，關(guān)系提取 (relation extraction)，實體分類 (entity classification)，實體決議 (entity resolution)等等。

本次Fudan DISC實驗室將分享三篇關(guān)于知識圖譜嵌入模型的論文，分別介紹其訓(xùn)練策略、概率校準、模型設(shè)計三個方面取得的進展。

文章概覽

知識圖譜嵌入模型的訓(xùn)練策略（You CAN Teach an Old Dog New Tricks! On Training Knowledge Graph Embeddings）

論文地址：https://openreview.net/pdf?id=BkxSmlBFvr

該篇文章在兩個常見數(shù)據(jù)集上對比了五種知識圖譜嵌入 (Knowledge Graph Embedding) 方法在同樣的訓(xùn)練框架和參數(shù)設(shè)置下的性能，總結(jié)并評測了不同模型架構(gòu)和不同訓(xùn)練策略對模型的影響，正如文章標題所說“你可以教給老狗新的技巧”，訓(xùn)練策略對模型的性能有重大影響，并且可能占最近幾年進展的很大一部分。

知識圖譜嵌入模型的概率校準（Probability Calibration for Knowledge Graph Embedding Models）

論文地址：https://openreview.net/pdf?id=S1g8K1BFwS

該篇文章將概率校準的兩種方法運用到知識圖譜嵌入模型中，解決了當前知識圖譜嵌入模型對于實體推斷的打分不是概率的問題。

使用盒嵌入在知識圖譜上推斷（Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings）

論文地址：https://openreview.net/pdf?id=BJgr4kSFDS

該篇文章將盒嵌入引入知識圖譜推斷中，將原有的基于點嵌入的模型升級為基于高維矩形嵌入的模型，解決推斷過程中“一推多”、合取、析取的問題。

論文細節(jié)

1

論文動機

目前有很多知識圖譜嵌入模型，是近期的熱點；

這些模型缺少統(tǒng)一的訓(xùn)練策略消融對比；

通常沒有考慮最先進的基線。

以此帶來的問題是難以評估模型和訓(xùn)練的貢獻。因此文章將熱門的5個模型在2個廣泛使用的數(shù)據(jù)集上控制訓(xùn)練策略進行實驗對比。

方法

本文使用上表中的5個模型對比了如下的訓(xùn)練參數(shù)設(shè)置，篇幅有限不做過多介紹。

實驗結(jié)果

結(jié)果表明通過好的訓(xùn)練策略，熱門模型都比他們論文剛發(fā)表時發(fā)布的性能有所提升，甚至有些模型可以超過后來提出的模型，如RESCAL；同時，文中也對比了重新實現(xiàn)的模型與更新的模型性能，發(fā)現(xiàn)最新的模型并沒有比之前的模型在訓(xùn)練策略調(diào)優(yōu)后的效果上有明顯提升。

同時，每個模型在不同訓(xùn)練策略下的方差都比較大，并沒有完全特別好的模型。

此外，文章還對比了不同參數(shù)的作用，以及訓(xùn)練的過程。

2

論文動機

知識圖譜嵌入研究忽略了概率標定問題。

流行的知識圖譜嵌入模型沒有校準。

知識圖譜嵌入得到分數(shù)的概率都是不可靠的。

因此，本文提出了一種知識圖嵌入模型的標定方法，使用Platt標度和等滲回歸，對概率進行了校準。

方法

論文主要的研究對象是基于知識圖譜嵌入的評分，使用Platt標度和等滲回歸，對評分概率進行了校準。

實驗結(jié)果

實驗結(jié)果表明，Platt標度和等滲回歸的校準效果良好。

3

論文動機

在知識圖譜的鏈接預(yù)測（link prediction）中，存在多步推理的情況，以及有的時候推理并不是一一對應(yīng)，而是存在同樣滿足條件的多個實體集合的情況。當前的研究主要關(guān)注于單步的點推理，也沒有考慮推理中集合的操作。因此，本文提出將盒嵌入模型用于回答知識圖譜的推理問題，從而解決推理中多步集合推理的問題。

方法

文中定義了盒嵌入向量的構(gòu)造和投影合取的操作，以及距離的計算方式。

此外，文中還證明了任何一個命題都可以轉(zhuǎn)化為標準形式。

實驗結(jié)果

實驗結(jié)果表明盒嵌入模型相比于點嵌入模型擁有更好的推理效果。

總結(jié)

此次 Fudan DISC 解讀的三篇論文圍繞知識圖譜嵌入模型展開，訓(xùn)練策略對于嵌入模型的訓(xùn)練影響很大，由知識圖譜嵌入模型得到的打分可以通過概率校準的手段使其變成概率，盒嵌入模型的引入解決了復(fù)雜集合推斷的問題。

責任編輯：lq