前言

前段時(shí)間在網(wǎng)上看到《警惕AI外掛！我寫(xiě)了一個(gè)槍槍爆頭的視覺(jué)AI，又親手“殺死”了它》 這個(gè)視頻，引起了我極大的興趣。

視頻中提到，在國(guó)外有人給使命召喚做了個(gè)AI程序來(lái)實(shí)現(xiàn)自動(dòng)瞄準(zhǔn)功能。它跟傳統(tǒng)外掛不一樣，該程序不需要用游戲內(nèi)存數(shù)據(jù)，也不往服務(wù)器發(fā)送作弊指令，只是通過(guò)計(jì)算機(jī)視覺(jué)來(lái)分析游戲畫(huà)面，定位敵人，把準(zhǔn)星移動(dòng)過(guò)去，跟人類(lèi)玩家操作一模一樣，因此反外掛程序無(wú)法檢測(cè)到它。而且更恐怖的是這AI程序全平臺(tái)通用，不管是X-box，PS4還是手機(jī)，只要能把畫(huà)面接出來(lái)，把操作送進(jìn)去，就可以實(shí)現(xiàn)“槍槍爆頭”。

外網(wǎng)的那個(gè)開(kāi)發(fā)者用的是基于方框的目標(biāo)檢測(cè)，但是像射擊游戲需要定位人體的場(chǎng)景，其實(shí)有比方框檢測(cè)更好的算法。up主就利用了幾個(gè)小時(shí)的時(shí)間就寫(xiě)出來(lái)了一個(gè)效果更好，功能更夸張的AI程序，也就是利用人體關(guān)節(jié)點(diǎn)檢測(cè)技術(shù)，通過(guò)大量真人圖片訓(xùn)練出來(lái)的視覺(jué)AI，可以把視頻和圖片里人物的關(guān)節(jié)信息提取出來(lái) 并給出每個(gè)部位中心點(diǎn)的精確像素坐標(biāo)，而且雖然訓(xùn)練的是是真人圖片，但是給它游戲里的人物，他也一樣能把人體關(guān)節(jié)定位出來(lái)。

可以說(shuō)由于這類(lèi)AI程序的出現(xiàn)，現(xiàn)在fps游戲的形式就是山雨欲來(lái)風(fēng)滿(mǎn)樓，十分嚴(yán)峻??！

下面，我們先開(kāi)始介紹這個(gè)視覺(jué)AI自動(dòng)瞄準(zhǔn)的制作思路，然后再談?wù)勥@個(gè)問(wèn)題帶來(lái)的影響以及如何解決這個(gè)問(wèn)題。

一、核心功能設(shè)計(jì)

總體來(lái)說(shuō)，我們首先需要訓(xùn)練好一個(gè)人體關(guān)節(jié)點(diǎn)檢測(cè)的AI視覺(jué)模型，然后將游戲畫(huà)面實(shí)時(shí)送入AI視覺(jué)模型中，再反饋出游戲人物各個(gè)部位的像素位置，然后確定瞄準(zhǔn)點(diǎn)，并將鼠標(biāo)移動(dòng)到瞄準(zhǔn)點(diǎn)位置。

拆解需求后，整理出核心功能如下：

• 訓(xùn)練人體關(guān)節(jié)點(diǎn)檢測(cè)模型
• 輸入視頻或圖片到AI視覺(jué)模型，并輸出瞄準(zhǔn)點(diǎn)位置。
• 自動(dòng)操作鼠標(biāo)移動(dòng)到對(duì)應(yīng)瞄準(zhǔn)位置

最終想要實(shí)現(xiàn)的效果如下圖所示：

二、核心實(shí)現(xiàn)步驟

1.訓(xùn)練人體關(guān)節(jié)點(diǎn)檢測(cè)模型

在這一部分，我打算使用由微軟亞洲研究院和中科大提出High-Resoultion Net(HRNet)來(lái)進(jìn)行人體關(guān)節(jié)點(diǎn)檢測(cè)，該模型通過(guò)在高分辨率特征圖主網(wǎng)絡(luò)逐漸并行加入低分辨率特征圖子網(wǎng)絡(luò)，不同網(wǎng)絡(luò)實(shí)現(xiàn)多尺度融合與特征提取實(shí)現(xiàn)的，所以在目前的通用數(shù)據(jù)集上取得了較好的結(jié)果。

1.1 HRNet代碼庫(kù)安裝

按照官方的install指導(dǎo)命令，安裝十分簡(jiǎn)單。我是采用本地源代碼安裝方式。

gitclonehttps://github.com/leoxiaobin/deep-high-resolution-net.pytorch.git
python-mpipinstall-edeep-high-resolution-ne.pytorch

1.2 人體關(guān)鍵點(diǎn)數(shù)據(jù)集下載

首先打開(kāi)COCO數(shù)據(jù)集官方下載鏈接。

對(duì)于Images一欄的綠色框需要下載三個(gè)大的文件，分別對(duì)應(yīng)的是訓(xùn)練集，驗(yàn)證集和測(cè)試集：

https://images.cocodataset.org/zips/train2017.zip

https://images.cocodataset.org/zips/val2017.zip

https://images.cocodataset.org/zips/test2017.zip

對(duì)于Annotations一欄綠色框需要下載一個(gè)標(biāo)注文件：

https://images.cocodataset.org/annotations/annotations_trainval2017.zip

將文件解壓后，可以得到如下目錄結(jié)構(gòu)：

其中的 person_keypoints_train2017.json 和 person_keypoints_val2017.json 分別對(duì)應(yīng)的人體關(guān)鍵點(diǎn)檢測(cè)對(duì)應(yīng)的訓(xùn)練集和驗(yàn)證集標(biāo)注。

annotations
├──captions_train2017.json
├──captions_val2017.json
├──instances_train2017.json
├──instances_val2017.json
├──person_keypoints_train2017.json人體關(guān)鍵點(diǎn)檢測(cè)對(duì)應(yīng)的訓(xùn)練集標(biāo)注文件
└──person_keypoints_val2017.json人體關(guān)鍵點(diǎn)檢測(cè)對(duì)應(yīng)的驗(yàn)證集標(biāo)注文件

在本地代碼庫(kù)datasets目錄下面新建立coco目錄，將上面的訓(xùn)練集，驗(yàn)證集以及標(biāo)注文件放到本地代碼的coco目錄下面

datasets
├──coco
│├──annotations
│├──test2017
│├──train2017
│└──val2017

1.3 環(huán)境配置與模型訓(xùn)練

核心訓(xùn)練代碼如下：

deftrain(config,train_loader,model,criterion,optimizer,epoch,
output_dir,tb_log_dir,writer_dict):
batch_time=AverageMeter()
data_time=AverageMeter()
losses=AverageMeter()
acc=AverageMeter()
#switchtotrainmode
model.train()
end=time.time()
fori,(input,target,target_weight,meta)inenumerate(train_loader):
data_time.update(time.time()-end)
outputs=model(input)
target=target.cuda(non_blocking=True)
target_weight=target_weight.cuda(non_blocking=True)
ifisinstance(outputs,list):
loss=criterion(outputs[0],target,target_weight)
foroutputinoutputs[1:]:
loss+=criterion(output,target,target_weight)
else:
output=outputs
loss=criterion(output,target,target_weight)
optimizer.zero_grad()
loss.backward()
optimizer.step()
#measureaccuracyandrecordloss
losses.update(loss.item(),input.size(0))
_,avg_acc,cnt,pred=accuracy(output.detach().cpu().numpy(),
target.detach().cpu().numpy())
acc.update(avg_acc,cnt)
batch_time.update(time.time()-end)
end=time.time()
ifi%config.PRINT_FREQ==0:
msg='Epoch:[{0}][{1}/{2}]	'
'Time{batch_time.val:.3f}s({batch_time.avg:.3f}s)	'
'Speed{speed:.1f}samples/s	'
'Data{data_time.val:.3f}s({data_time.avg:.3f}s)	'
'Loss{loss.val:.5f}({loss.avg:.5f})	'
'Accuracy{acc.val:.3f}({acc.avg:.3f})'.format(
epoch,i,len(train_loader),batch_time=batch_time,
speed=input.size(0)/batch_time.val,
data_time=data_time,loss=losses,acc=acc)
logger.info(msg)
writer=writer_dict['writer']
global_steps=writer_dict['train_global_steps']
writer.add_scalar('train_loss',losses.val,global_steps)
writer.add_scalar('train_acc',acc.val,global_steps)
writer_dict['train_global_steps']=global_steps+1
prefix='{}_{}'.format(os.path.join(output_dir,'train'),i)
save_debug_images(config,input,meta,target,pred*4,output,
prefix)

訓(xùn)練結(jié)果：

2.輸入視頻或圖片實(shí)時(shí)反饋瞄準(zhǔn)點(diǎn)坐標(biāo)

2.1 實(shí)時(shí)讀取屏幕畫(huà)面

importpyautogui
img=pyautogui.screenshot()

在一個(gè) 1920×1080 的屏幕上，screenshot()函數(shù)要消耗100微秒，基本達(dá)到實(shí)時(shí)傳入游戲畫(huà)面要求。

如果不需要截取整個(gè)屏幕，還有一個(gè)可選的region參數(shù)。你可以把截取區(qū)域的左上角XY坐標(biāo)值和寬度、高度傳入截取。

im=pyautogui.screenshot(region=(0,0,300,400))

2.2 讀取圖片反饋?zhàn)鴺?biāo)

parser.add_argument('--keypoints',help='f:fullbody17keypoints,h:halfbody11keypoints,sh:smallhalfbody6keypotins')
hp=PoseEstimation(config=args.keypoints,device="cuda:0")

可以選擇人體關(guān)節(jié)點(diǎn)檢測(cè)數(shù)目，包括上半身6個(gè)關(guān)鍵點(diǎn)、上半身11個(gè)關(guān)鍵點(diǎn)以及全身17個(gè)關(guān)鍵點(diǎn)，然后構(gòu)建探測(cè)器。

人體關(guān)節(jié)點(diǎn)對(duì)應(yīng)序號(hào)：

"keypoints":{0:"nose",1:"left_eye",2:"right_eye",3:"left_ear",4:"right_ear",5:"left_shoulder",6:"right_shoulder",7:"left_elbow",8:"right_elbow",9:"left_wrist",10:"right_wrist",11:"left_hip",12:"right_hip",13:"left_knee",14:"right_knee",15:"left_ankle",16:"right_ankle"}

因此如果為了自動(dòng)瞄準(zhǔn)頭部實(shí)現(xiàn)“槍槍爆頭”，僅需要反饋 0: "nose"的坐標(biāo)點(diǎn)就行了。

代碼如下：

location=hp.detect_head(img_path,detect_person=True,waitKey=0)

defdetect_head(self,image_path,detect_person=True,waitKey=0):

bgr_image=cv2.imread(image_path)
kp_points,kp_scores,boxes=self.detect_image(bgr_image,
threshhold=self.threshhold,
detect_person=detect_person)
returnkp_points[0][0]

輸出結(jié)果：[701.179 493.55]

可以看到雖然訓(xùn)練的是真人圖片，但是給它游戲里的人物，它也一樣能把人體關(guān)節(jié)定位出來(lái)。

深度神經(jīng)網(wǎng)絡(luò)之所以厲害，就是因?yàn)樗幸欢ǖ难堇[推廣能力。沒(méi)見(jiàn)過(guò)的東西，他也能靠著層次線(xiàn)索分析一波，結(jié)果往往也挺準(zhǔn)。而且游戲場(chǎng)景是現(xiàn)實(shí)場(chǎng)景的簡(jiǎn)化之后的結(jié)果，環(huán)境和光影都要簡(jiǎn)單的多，能把現(xiàn)實(shí)世界分析明白的視覺(jué)AI，對(duì)付個(gè)3D游戲更是小菜一碟了。

3.自動(dòng)移動(dòng)鼠標(biāo)到對(duì)應(yīng)的坐標(biāo)點(diǎn)

3.1 移動(dòng)鼠標(biāo)

移動(dòng)到指定位置：

pyautogui.moveTo(100,300,duration=1)

將鼠標(biāo)移動(dòng)到指定的坐標(biāo)；duration 的作用是設(shè)置移動(dòng)時(shí)間，所有的gui函數(shù)都有這個(gè)參數(shù)，而且都是可選參數(shù)。

獲取鼠標(biāo)位置:

print(pyautogui.position())#得到當(dāng)前鼠標(biāo)位置；輸出：Point(x=200, y=800)

3.2 控制鼠標(biāo)點(diǎn)擊

單擊鼠標(biāo):

#點(diǎn)擊鼠標(biāo)
pyautogui.click(10,10)#鼠標(biāo)點(diǎn)擊指定位置，默認(rèn)左鍵
pyautogui.click(10,10,button='left')#單擊左鍵
pyautogui.click(1000,300,button='right')#單擊右鍵
pyautogui.click(1000,300,button='middle')#單擊中間

雙擊鼠標(biāo)：

pyautogui.doubleClick(10,10)#指定位置，雙擊左鍵
pyautogui.rightClick(10,10)#指定位置，雙擊右鍵
pyautogui.middleClick(10,10)#指定位置，雙擊中鍵

點(diǎn)擊 & 釋放：

pyautogui.mouseDown()#鼠標(biāo)按下
pyautogui.mouseUp()#鼠標(biāo)釋放

至此，視覺(jué)AI自瞄程序已經(jīng)基本設(shè)計(jì)完成。

三、引發(fā)的思考

總的來(lái)說(shuō)，視覺(jué)AI給FPS游戲帶來(lái)了一波危機(jī)！

這類(lèi)視覺(jué)AI程序目前存在三個(gè)威脅：

• 準(zhǔn)確性
• 隱蔽性
• 通用性

第一個(gè)威脅就是超越人類(lèi)的準(zhǔn)確性。雖然人腦的高層次演繹歸納能力是遠(yuǎn)勝于AI的，但是在低級(jí)信息處理速度和精確度上，人類(lèi)就很難比得過(guò)專(zhuān)精某個(gè)功能的AI了，比如在人體關(guān)節(jié)定位這件事上，給出人體每個(gè)部位的中心位置只需要幾毫秒，而且精確到像素點(diǎn)，而同樣一張圖片給人類(lèi)看個(gè)幾毫秒，都不一定能夠看清人在哪，更別說(shuō)定位關(guān)節(jié)移動(dòng)鼠標(biāo)了。

第二個(gè)威脅就是無(wú)法被外掛程序檢測(cè)的隱蔽性。和傳統(tǒng)外掛不一樣，傳統(tǒng)外掛要操作游戲的內(nèi)存數(shù)據(jù)或者文件數(shù)據(jù)，從而獲取游戲世界的信息。讓開(kāi)掛的人打出一些正常玩家不可能實(shí)現(xiàn)的作弊操作。而視覺(jué)AI是完全獨(dú)立于游戲數(shù)據(jù)之外的，和人一樣，也是通過(guò)實(shí)時(shí)觀察畫(huà)面發(fā)送鼠標(biāo)和鍵盤(pán)指令，所以傳統(tǒng)的反外掛程序只能反個(gè)寂寞。

第三個(gè)威脅就是適用全平臺(tái)的通用性。首先這個(gè)AI視覺(jué)模型是通過(guò)大量真人照片訓(xùn)練出來(lái)的，但是能夠識(shí)別游戲中的人物，這意味著可以攻陷大部分FPS游戲。AI操作游戲和人操作游戲交互方式是沒(méi)區(qū)別的，所以衍生出更大的問(wèn)題，只要能把畫(huà)面接入到這個(gè)模型中，就可以攻陷任意一種游戲平臺(tái)，包括電腦、主機(jī)、手機(jī)等，無(wú)論你做的多封閉，生態(tài)維護(hù)的多好，在視覺(jué)AI面前眾生平等。

那么我們?cè)撊绾谓鉀Q這個(gè)問(wèn)題呢？

可以通過(guò)算法檢測(cè)游戲異常操作，這也是一種思路，但是實(shí)現(xiàn)起來(lái)還是比較困難，畢竟可以讓AI更像人類(lèi)的操作。

而我想到之前比較火的deepfake，那么我們是不是可以通過(guò)對(duì)抗樣本來(lái)解決這個(gè)問(wèn)題呢，使得視覺(jué)AI識(shí)別錯(cuò)誤？

說(shuō)了那么多，其實(shí)也沒(méi)有什么好的結(jié)論，只能說(shuō)技術(shù)的發(fā)展是在不斷對(duì)抗中前進(jìn)以及規(guī)范。

審核編輯 ：李倩