衡量消費者情緒是產品、服務等反饋的重要組成部分。近年來，情緒分析（也稱為意見挖掘）已被證明是提供消費者反饋的有用工具。情感分析在社交媒體環境中使用文本分析和自然語言處理。情緒分析的基本思想是根據某種形式的交流（例如推文或網站評論）捕捉消費者對某個主題的看法。

情緒分析的一種演變是被動地檢測路過貨架并查看產品的消費者的情緒。這種類型的情緒分析不僅可以捕獲有關消費者對產品意見的統計數據，還可以進行直接交互——例如，如果銷售人員表示有興趣，則通知他們。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的購物者情緒應用程序，根據輸入的面部表情視頻自動推斷購物者在零售店展示時的情緒。

購物者情緒數據管道

圖 1顯示了 Shopper Mood 應用程序的管道。讓我們仔細看看這個深度學習應用程序中發生了什么。

圖 1：購物者情緒推斷管道圖說明了 OpenVINO? 工具包的此應用程序如何處理捕獲的圖像以識別在購物者臉上檢測到的情緒。（來源：作者）

該過程首先從安裝在零售貨架上的攝像機捕捉圖像。接下來，捕獲的圖像被傳遞到兩個深度神經網絡中的第一個（基于卷積神經網絡或 CNN）。CNN 是最流行的深度學習網絡架構之一，旨在處理圖像。它們由大量層組成，這些層在前端處理圖像的小窗口，在后端產生一個或多個分類分數。第一個 CNN 確定是否可以在捕獲的圖像中檢測到人臉。如果第一個網絡發現的人臉超過可配置的概率閾值，則每張人臉都被歸類為“購物者”并傳遞給第二個網絡。第二個網絡使用以下五個類別之一來識別臉上顯示的情緒類型：

快樂的

傷心

吃驚

生氣的

中性的

如果 CNN 無法確定檢測到的面部的情緒（高于可配置的閾值），則它會被簡單地標記為“未知”。您可以在圖 2中看到疊加在原始圖像上的處理結果。

圖 2：Shopper Mood Monitor 輸出屏幕顯示了疊加在原始捕獲圖像上的 Shopper Mood Inference Pipeline 結果示例。（來源：英特爾）

從圖 2 中可以看出，檢測圖像中的人臉所需時間為 136 毫秒，情感分析耗時 13 毫秒。這種快速的處理時間使得在需要立即響應的情況下實時進行這種分析成為可能——例如通知銷售人員協助購物者。

示例應用程序還可用于非實時統計，可選擇通過消息隊列遙測傳輸 (MQTT) 協議將生成的情緒發送到數據分析系統以進行累積和離線分析。

為什么這很酷

借助英特爾? OpenVINO ?分發版和大約 600 行 Go 代碼，您可以實現十年前需要非常專業的硬件和軟件才能實現的面部表情檢測。復雜的工作隱藏在深度學習模型中，這些模型已經過面部和情緒檢測的預訓練。然后，粘合源加載模型并將捕獲的幀呈現給模型進行處理和分類。當與功能強大的硬件（例如基于第 6 代英特爾? 酷睿? 處理器或由英特爾 Movidius? X VPU 提供支持的英特爾神經計算棒 2）搭配使用時，可以獲得令人印象深刻的推理速度，從而實現實時分析。

改編這個例子

面部表情的實時檢測具有廣泛的適用用例。許多是商業性的，例如了解購物者的情緒，但您也可以應用此解決方案來幫助患有某些類型面部識別障礙的人。據估計，總人口中有 2% 患有發育性面容失認癥。發育性面容失認癥是指影響人臉識別或面部表情識別的障礙（表情性失認癥）。該應用程序可以識別發育性面容失認癥患者的面部和面部表情。

此外，考慮將該技術應用于增強虛擬現實。隨著越來越多的嵌入式設備開始支持深度學習，可能的增強虛擬現實用例也會增加。例如，眼鏡可以集成攝像機和實時面部檢測功能，以便在捕獲的圖像上呈現虛擬疊加層，描述從佩戴眼鏡的人身邊經過的人推斷出的面部表情。

很容易想到其他應用。使用提供的示例代碼，您只需要為您的應用程序使用輸出分類。

在哪里了解更多

您可以在英特爾?物聯網開發套件GitHub 上了解有關此演示的更多信息。

膠水應用程序是用 C++ 和 Go 語言開發的。該發行版包括面向 OpenVINO ?的英特爾?優化人臉檢測和情緒檢測模型。您可以使用 Ubuntu 16.04 LTS Linux 操作系統、英特爾? OpenVINO ?工具包分發版和 OpenCL ?運行時包輕松試驗此應用程序。

您還可以使用 AIoT 開發套件快速啟動您的開發，其中包括 Ubuntu、OpenVINO ?、英特爾? Media SDK 和預裝英特爾?酷睿?處理器的英特爾? System Studio 2018。開發工具包包括幫助您快速入門和運行的教程。

您還可以使用基于 Intel ? Apollo Lake ?平臺的AAEON UP 板。