針對提高視覺圖像特征與優(yōu)化控制之間契合度的問題，本文提出一種基于深度強化學(xué)習(xí)的機械臂視覺抓取控制優(yōu)化方法，可以自主地從與環(huán)境交互產(chǎn)生的視覺圖像中不斷學(xué)習(xí)特征提取，直接地將提取的特征應(yīng)用于機械臂抓取控制。通過不斷的抓取實驗，優(yōu)化機械臂抓取策略，最終獲得優(yōu)秀的抓取策略。并且可以針對不同的抓取任務(wù)和抓取環(huán)境，學(xué)習(xí)相應(yīng)的機械臂抓取控制策略。

　　神經(jīng)網(wǎng)絡(luò)是人工智能研究領(lǐng)域的核心之一，其本質(zhì)是模擬人腦的學(xué)習(xí)系統(tǒng)，通過增加網(wǎng)絡(luò)的層數(shù)讓機器從數(shù)據(jù)中學(xué)習(xí)高層特征。近年來，由于神經(jīng)網(wǎng)絡(luò)優(yōu)異的算法性能，已經(jīng)廣泛應(yīng)用于圖像分析、目標(biāo)檢測等領(lǐng)域。

　　視覺圖像提供了豐富的特征信息，可以提供某個時刻對于研究問題所需要的環(huán)境的有效狀態(tài)信息。正因為其具有的豐富的特征信息量，視覺圖像被廣泛應(yīng)用于如機器人導(dǎo)航、機械臂控制等許多應(yīng)用上。純粹基于視覺圖像的抓取控制，其質(zhì)量極大地依賴于圖像的特征提取的準(zhǔn)確性和機械臂抓取控制的動力學(xué)模型的準(zhǔn)確性。但是，傳統(tǒng)的視覺特征提取算法受環(huán)境動態(tài)變化的影響，手工提取的特征往往費時費力，很難滿足機械臂抓取控制的需求。同時，機械臂運動軌跡的求解與規(guī)劃，正逆動力學(xué)模型的建立往往也十分困難。

　　目前國內(nèi)外許多文章提出了不同的機械臂控制方法，近年來由于圖像識別技術(shù)的發(fā)展以及人工智能得到廣泛的運用，出現(xiàn)了將兩者結(jié)合起來用于機械臂的控制，并且取得了良好的效果。將機械臂避障路徑規(guī)劃問題置于強化學(xué)習(xí)的框架當(dāng)中，采用深度Q 學(xué)習(xí)的方法訓(xùn)練策略以規(guī)劃路徑，使得機械臂能夠在空間中存在障礙物的情況下實現(xiàn)避障抓捕。對圖像進(jìn)行了預(yù)處理并提取了目標(biāo)邊緣，結(jié)合目標(biāo)特點對提取的邊緣進(jìn)行了橢圓擬合，并對橢圓擬合偏差進(jìn)行了分析。針對常規(guī)方法設(shè)計視覺控制器的不足，基于BP 神經(jīng)網(wǎng)絡(luò)對視覺控制器進(jìn)行了設(shè)計，考慮了不同網(wǎng)絡(luò)參數(shù)和訓(xùn)練算法對網(wǎng)絡(luò)訓(xùn)練效果的影響。深入分析了機械臂特性和目標(biāo)特性，在建立機械臂、相機和目標(biāo)的運動關(guān)系的基礎(chǔ)上，基于立體視覺實現(xiàn)了對空間目標(biāo)的位姿測量，控制機械臂進(jìn)行抓取預(yù)定位。考慮立體相機的測量誤差和機械臂的控制精度因素，在抓取末階段采用單目相機，基于圖像的視覺伺服策略控制機械臂進(jìn)行精確位姿調(diào)整對目標(biāo)進(jìn)行抓取。以二自由度機械臂為基礎(chǔ)，用攝像機獲取機械臂運動區(qū)域的圖像，通過圖像分析，求解機械臂末端執(zhí)行器在直角坐標(biāo)空間的坐標(biāo)值，將該值作為系統(tǒng)的實際位置，并通過反饋與期望坐標(biāo)值相減，將所獲得的誤差作為機械臂控制系統(tǒng)的補償量，實現(xiàn)整個系統(tǒng)的全閉環(huán)控制，進(jìn)一步解決了原半閉環(huán)控制帶來的控制精度不高的問題。針對多自由度機械臂的神經(jīng)網(wǎng)絡(luò)控制問題，將控制系統(tǒng)根據(jù)自由度分為兩個子系統(tǒng)，提出全局神經(jīng)網(wǎng)絡(luò)與局部神經(jīng)網(wǎng)絡(luò)組合對機械臂系統(tǒng)進(jìn)行控制。

　　指出機械臂視覺抓取系統(tǒng)中基于深度學(xué)習(xí)的視覺識別可通過對深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實現(xiàn)多目標(biāo)快速識別而不必更改識別算法。這需要搜集被檢測目標(biāo)的大量圖像制作標(biāo)準(zhǔn)的訓(xùn)練集，利用前述基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別算法對數(shù)據(jù)集進(jìn)行離線訓(xùn)練，將得到的模型用于在線識別。R-CNN 系列算法是目前主流的用于機械臂抓取的深度學(xué)習(xí)目標(biāo)檢測算法，但是速度上并不能滿足實時的要求。

　　機械臂視覺抓取在常規(guī)的機器人學(xué)、控制理論的基礎(chǔ)上，融合了計算機視覺理論、深度學(xué)習(xí)和人工智能等學(xué)科，具有重要的科研和應(yīng)用價值。

　　如何提高視覺圖像特征與優(yōu)化控制之間的契合度是現(xiàn)有技術(shù)需要解決的問題。針對現(xiàn)有技術(shù)的缺點，本文提出了一種結(jié)合深度強化學(xué)習(xí)［15］的機械臂視覺抓取控制優(yōu)化方法。在建立在人工智能算法深度強化學(xué)習(xí)的基礎(chǔ)上，能自主地學(xué)習(xí)視覺圖像的特征提取，并有效地規(guī)劃機械臂的抓取控制軌跡。同時，根據(jù)不同的應(yīng)用環(huán)境和抓取目標(biāo)，自主地學(xué)習(xí)相應(yīng)的機械臂抓取控制策略，提高了算法的泛化能力。深度強化學(xué)習(xí)的應(yīng)用，避免了人為的特征提取和運動軌跡計算，提高了準(zhǔn)確度，簡化了復(fù)雜度，從而提升實際機械臂抓取控制的效率。