針對互聯網亂象紛飛的欺詐行為，芯盾時代一直秉持著零容忍的態度，在虛假交易、薅羊毛、信息泄露、信用欺詐、洗錢等場景的檢測防控技術手段一直在不斷演進。經過多年在證券、銀行、第三方支付、政府、互聯網金融等領域大數據機器學習項目的沉淀和積累，芯盾時代形成了一套完整有效的反欺詐解決方案，其中持續自適應機器學習引擎迭代機制是其擁有不斷進化能力的關鍵。

在實時檢測場景中，芯盾時代機器學習引擎應用了大數據實時流-批混合特征計算、畫像數據分析探索、分布式圖挖掘技術、多模型在線實時預測服務等技術手段來鑒別欺詐行為。

圖1 機器學習引擎運轉機制

芯盾時代機器學習引擎運轉體制可以從實時流-批混合機器學習、案件庫管理、模型輸出可視化三個維度進行說明。

實時流-批混合一站式機器學習引擎

反欺詐領域面對的欺詐模式可分為未知欺詐和已知欺詐。未知欺詐通過流式處理的異常檢測算法、實時圖譜技術進行小樣本發掘，經過差集檢測處理后，為批處理模式機器學習模型提供樣本標簽。批處理模式機器學習則可以通過算法復雜度高的模型系統不斷挖掘新的欺詐模式，應對黑色產業鏈的發展。

而機器學習引擎構建也面臨兩個方面難題：

1）大數據量并行計算，支撐模型并行和數據并行計算；

2）離線特征和流式特征分離式開發，造成重復開發、維護困難。

圖2 實時流-批混合一站式機器學習引擎

芯盾時代實時流-批混合一站式機器學習引擎采用分層架構模式，具體包括模型實時服務組件、消息中間件、實時計算組件、數據緩存組件、離線計算組件、圖計算組件等。整體架構具備敏捷開發性、易部署性、可測試性、高伸縮性、易開發性等優點。

數據實時計算組件實時消費來自消息中間件報文數據并實時計算，加工完成的特征指標采用冗余存儲方式，即數據緩存和離線拍照，數據緩存為模型在線實時服務提供特征來源。離線拍照數據為離線計算框架數據同步模塊從消息中間件提取數據，并按預定拍照方案沉淀數據，為離線機器學習模型、圖計算、OLAP等提供數據支撐。此種方式統一了離線和在線模型特征口徑，節省特征開發人力資源，方便后續特征版本升級更新。

模型輸出可視

IPA模型管理平臺為模型輸出可視化提供支撐，支持鉆取、切塊、旋轉等OLAP分析功能；

案件庫管理

通過流式異常檢測算法篩選出的疑似高欺詐風險記錄作為進件沉淀到案件庫管理平臺，評審員參考IPA模型管理之用戶畫像體系、欺詐關聯圖譜可視化平臺對疑似案件作出專家判斷，判斷結果作為新進案件沉淀到案件庫，為離線機器學習模型訓練提供素材。

在大數據和人工智能快速發展的時代背景下，具備智慧的反欺詐系統才能在與欺詐產業鏈的持續對抗中立于不敗之地。芯盾時代本著“知人善認，獨具匠芯” 的發展理念，臻于至善，讓欺詐無所遁形。