谷歌AI發布新成果，TF-Ranking：這是一個應用于Learning to Rank、基于TensorFlow的可擴展庫。它提供了一個統一的框架，其中包括一套最先進的Learning to Rank算法，并支持成對或列表丟失函數，多項目評分，排名度量優化等等。

排序，是一種適用于搜索引擎、系統推薦以及機器翻譯等的重要操作。

在諸如此類的應用程序中，研究人員經常使用一組名叫Learning to Rank的有監督機器學習技術。

在許多情況下，Learning to Rank應用于較大的數據集，在這些場景中，TensorFlow可擴展性是具有優勢的。

然而，目前還沒有現成的，可以在TensorFlow中應用Learning to Rank的技術。而且也沒有其他開源庫專門應用大規模Learning to Rank技術。

谷歌AI發布了TF-Ranking，這是一個應用于Learning to Rank、基于TensorFlow的可擴展庫。

TF-Ranking

TF-Ranking提供了一個統一的框架，其中包括一套最先進的Learning to Rank算法，并支持成對或列表丟失函數，多項目評分，排名度量優化等等。

TF-Ranking速度較快且易于使用，而且還可以創建高質量的排名模型。統一的框架使ML研究人員、從業者和愛好者能夠在單個庫中評估和選擇一系列不同的排名模型。

此外，谷歌團隊堅信一個有用的開源庫，其關鍵不僅在于提供合理的默認值(sensible default)，還在于授權用戶開發他們自己的定制模型。因此，團隊提供了靈活的API，用戶可以在API中定義和插入自己定制的損失函數、評分函數和指標。

現有的算法和度量支持

Learning to Rank算法的目標是最小化在項目列表上定義的損失函數，以優化任何給定應用程序的列表排序的效用。TF-Ranking支持廣泛的標準pointwise，pairwise和listwise損失函數。這確保了使用TF-Ranking庫的研究人員能夠復制和擴展以前發布的基線，從業者可以為他們的應用做出最明智的選擇。

此外，TF-Ranking可以通過嵌入和擴展到數億個訓練實例來處理稀疏特征（如原始文本）。

因此，任何對構建真實世界數據密集型排名系統(如Web搜索或新聞推薦)感興趣的人都可以使用TF-Ranking作為強大，可擴展的解決方案。

經驗評估是任何機器學習或信息檢索研究的重要組成部分。

為了確保與先前工作的兼容性，TF-Ranking支持許多常用的排名指標，包括平均倒數排名(MRR)和歸一化折扣累積收益(NDCG)。

TensorBoard中顯示的訓練步驟(X軸)的NDCG度量(Y軸)的示例。 它顯示了訓練期間指標的總體進度。 可以直接在儀表板上比較不同的方法。 可以根據指標選擇最佳模型。

多項評分

TF-Ranking支持一種新的評分機制，其中多個項目(例如web頁面)可以聯合評分，這是對傳統評分模式的擴展，在傳統的評分模式中，單個項目是獨立評分的。

多項目評分的一個挑戰是很難推斷哪些項目必須分組并在子組中評分。然后，每個項目的分數被累積起來，用于排序。為了讓這些復雜性對用戶透明，TF- Ranking提供了一個List-In-List-Out (LILO) API，將所有這些邏輯包裝在導出的TF模型中。

TF-Ranking庫支持多項目評分體系結構，是傳統單項評分的擴展。

正如谷歌AI在最近的工作中所展示的那樣，多項目評分在公共LETOR基準測試中與RankNet，MART和LambdaMART等最先進的學習級別模型相比具有競爭力。

排名指標優化

Learning to Rank一個重要研究挑戰是直接優化排名指標(如前面提到的NDCG和MRR)。

這些指標雖然能夠比曲線下面積(Area Under the Curve, AUC)之類的標準分類指標更好地衡量排名系統的性能，但很可惜，它們要么不連續，要么平坦(flat)。因此，這些指標的標準隨機梯度下降優化是有問題的。

谷歌AI提出了一種新的方法，LambdaLoss，它為排序度量優化提供了一個有原則的概率框架。

在這個框架中，可以通過期望最大化的過程來設計和優化度量驅動的損失函數。TF-Ranking庫集成了直接度量優化的最新進展，并提供了LambdaLoss的實現。

無偏(unbiased)Learning to Rank

先前的研究表明，給定一個項目的排序列表，用戶更有可能與前幾個結果交互，而不會考慮它們的相關性。

這一發現激發了人們對無偏Learning to Rank的研究興趣，并且基于訓練的實例進行重新加權，開發了無偏見的評估和幾種無偏見的學習算法。

開始用TF-Ranking吧！

TF-Ranking實現了TensorFlow Estimator接口，通過封裝訓練、評估、預測和導出服務，大大簡化了機器學習編程。

TF-Ranking與豐富的TensorFlow生態系統完美集成。 如上所述，你可以使用Tensorboard可視化NDCG和MRR等排名指標，以及使用這些指標選擇最佳模型檢查點。 一旦你的模型準備就緒，便可以使用TensorFlow服務，非常容易將其部署到生產中。