簡介

在開發(fā)過程中調(diào)整模型時，您需要檢查所做的更改是否對模型性能有所改善。只檢查準確度可能不夠。例如，如果您擁有關(guān)于某個問題的分類器，并且對于該問題，95% 的實例為陽性，那么您可能只需一直預(yù)測陽性即可提高準確度，但您無法擁有一個非常穩(wěn)健的分類器。

概述

TensorFlow Model Analysis 的目標是為在 TFX 中開展模型評估提供機制。使用 TensorFlow Model Analysis，您可以在 TFX 管道中開展模型評估，并在 Jupyter 筆記本中查看結(jié)果指標和圖表。具體來說，它能夠提供：

根據(jù)整個訓練過程、預(yù)留數(shù)據(jù)集以及次日評估計算出的指標

指標實時追蹤功能

不同功能切片的模型質(zhì)量性能

從您的模型中導出 EvalSavedModel

為在 TFX 管道中安裝 TensorFlow Model Analysis，您需要在訓練過程中導出 EvalSavedModel，這是一種特殊的 SavedModel，包含對您模型中指標、功能、標簽等內(nèi)容的注釋。TensorFlow Model Analysis 使用此 EvalSavedModel 來計算指標。

作為計算過程的一部分，您需要提供一個特殊的 eval_input_receiver_fn，其與 serving_input_receiver_fn 類似，能夠從輸入數(shù)據(jù)中提取功能和標簽。與使用 serving_input_receiver_fn 一樣，我們會提供效用函數(shù)幫助您完成此項操作。大多數(shù)情況下，您需要增加少于 20 行的代碼。

在 Jupyter 筆記本中可視化

評估結(jié)果在 Jupyter 筆記本中呈現(xiàn)。

評估標簽

界面由三部分組成：

指標選擇器

默認情況下，Jupyter 筆記本會顯示所有計算出的指標，并按字母順序分列展示。指標選擇器使用戶能夠添加 / 移除 / 重新排列指標。您只需在下拉列表中勾選 / 取消選中指標（按住 Ctrl 鍵進行多選）或直接在輸入框中鍵入 / 重新排列指標

時間序列圖表

時間序列圖表使您可以根據(jù)數(shù)據(jù)跨度或模型運行情況輕松發(fā)現(xiàn)特定指標的趨勢。如要呈現(xiàn)感興趣指標的圖表，只需在下拉列表中點擊該指標。若要關(guān)閉圖表，請點擊右上角的 “X”

將鼠標懸停在圖表中的任意一個數(shù)據(jù)點，即會出現(xiàn)一個提示框，顯示模型運行情況、數(shù)據(jù)跨度和指標數(shù)值

指標表格

指標表格匯總指標選擇器中選中的所有指標的結(jié)果。您可以點擊指標名稱對其進行排序

切分指標標簽

切分指標標簽展示特定評估運行中不同切片的執(zhí)行方式。請選擇所需配置（評估、功能等）并點擊刷新。

網(wǎng)址會在刷新時更新，并包含一個對所選配置進行編碼的深層鏈接，該鏈接可共享。

界面由三部分組成：

指標選擇器

參見上文

指標可視化

指標可視化旨在為所選功能的切片提供直觀反饋。您可以使用快速過濾功能濾除加權(quán)樣本數(shù)較小的切片

Jupyter 筆記本支持兩種可視化方式：

切片概覽

在此視圖中，Jupyter 筆記本針對每個切片呈現(xiàn)所選指標的數(shù)值，并可根據(jù)切片名稱或其他指標數(shù)值對切片進行排序。

當切片數(shù)量很小時，此為默認視圖。

指標直方圖

在此視圖中，Jupyter 筆記本根據(jù)切片的指標數(shù)值將其分為不同的存儲分區(qū)。每個存儲分區(qū)中顯示的數(shù)值 value(s) 可能是該存儲分區(qū)的切片數(shù)量，也可能是總加權(quán)樣本數(shù)，抑或二者皆有。

點擊齒輪圖標，即可更改存儲分區(qū)的數(shù)量，并可在設(shè)置菜單中應(yīng)用對數(shù)縮放。

您也可以在直方圖視圖中濾除離群值。如下方屏幕截圖所示，只需在直方圖中拖動所需范圍即可。

當切片數(shù)量很大時，此為默認視圖。