針對互聯(lián)網(wǎng)亂象紛飛的欺詐行為，芯盾時代一直秉持著零容忍的態(tài)度，在虛假交易、薅羊毛、信息泄露、信用欺詐、洗錢等場景的檢測防控技術(shù)手段一直在不斷演進。經(jīng)過多年在證券、銀行、第三方支付、政府、互聯(lián)網(wǎng)金融等領(lǐng)域大數(shù)據(jù)機器學(xué)習(xí)項目的沉淀和積累，芯盾時代形成了一套完整有效的反欺詐解決方案，其中持續(xù)自適應(yīng)機器學(xué)習(xí)引擎迭代機制是其擁有不斷進化能力的關(guān)鍵。

在實時檢測場景中，芯盾時代機器學(xué)習(xí)引擎應(yīng)用了大數(shù)據(jù)實時流-批混合特征計算、畫像數(shù)據(jù)分析探索、分布式圖挖掘技術(shù)、多模型在線實時預(yù)測服務(wù)等技術(shù)手段來鑒別欺詐行為。

圖1 機器學(xué)習(xí)引擎運轉(zhuǎn)機制

芯盾時代機器學(xué)習(xí)引擎運轉(zhuǎn)體制可以從實時流-批混合機器學(xué)習(xí)、案件庫管理、模型輸出可視化三個維度進行說明。

實時流-批混合一站式機器學(xué)習(xí)引擎

反欺詐領(lǐng)域面對的欺詐模式可分為未知欺詐和已知欺詐。未知欺詐通過流式處理的異常檢測算法、實時圖譜技術(shù)進行小樣本發(fā)掘，經(jīng)過差集檢測處理后，為批處理模式機器學(xué)習(xí)模型提供樣本標簽。批處理模式機器學(xué)習(xí)則可以通過算法復(fù)雜度高的模型系統(tǒng)不斷挖掘新的欺詐模式，應(yīng)對黑色產(chǎn)業(yè)鏈的發(fā)展。

而機器學(xué)習(xí)引擎構(gòu)建也面臨兩個方面難題：

1）大數(shù)據(jù)量并行計算，支撐模型并行和數(shù)據(jù)并行計算；

2）離線特征和流式特征分離式開發(fā)，造成重復(fù)開發(fā)、維護困難。

圖2 實時流-批混合一站式機器學(xué)習(xí)引擎

芯盾時代實時流-批混合一站式機器學(xué)習(xí)引擎采用分層架構(gòu)模式，具體包括模型實時服務(wù)組件、消息中間件、實時計算組件、數(shù)據(jù)緩存組件、離線計算組件、圖計算組件等。整體架構(gòu)具備敏捷開發(fā)性、易部署性、可測試性、高伸縮性、易開發(fā)性等優(yōu)點。

數(shù)據(jù)實時計算組件實時消費來自消息中間件報文數(shù)據(jù)并實時計算，加工完成的特征指標采用冗余存儲方式，即數(shù)據(jù)緩存和離線拍照，數(shù)據(jù)緩存為模型在線實時服務(wù)提供特征來源。離線拍照數(shù)據(jù)為離線計算框架數(shù)據(jù)同步模塊從消息中間件提取數(shù)據(jù)，并按預(yù)定拍照方案沉淀數(shù)據(jù)，為離線機器學(xué)習(xí)模型、圖計算、OLAP等提供數(shù)據(jù)支撐。此種方式統(tǒng)一了離線和在線模型特征口徑，節(jié)省特征開發(fā)人力資源，方便后續(xù)特征版本升級更新。

模型輸出可視

IPA模型管理平臺為模型輸出可視化提供支撐，支持鉆取、切塊、旋轉(zhuǎn)等OLAP分析功能；

案件庫管理

通過流式異常檢測算法篩選出的疑似高欺詐風(fēng)險記錄作為進件沉淀到案件庫管理平臺，評審員參考IPA模型管理之用戶畫像體系、欺詐關(guān)聯(lián)圖譜可視化平臺對疑似案件作出專家判斷，判斷結(jié)果作為新進案件沉淀到案件庫，為離線機器學(xué)習(xí)模型訓(xùn)練提供素材。

在大數(shù)據(jù)和人工智能快速發(fā)展的時代背景下，具備智慧的反欺詐系統(tǒng)才能在與欺詐產(chǎn)業(yè)鏈的持續(xù)對抗中立于不敗之地。芯盾時代本著“知人善認，獨具匠芯” 的發(fā)展理念，臻于至善，讓欺詐無所遁形。