?

據(jù)抓取的表示，應(yīng)用場合等可以將機器人抓取分為2D平面抓取和6-DoF空間抓取，各自又包含很多方法，下面一一介紹。

1、2D 平面抓取：

適合工業(yè)抓取，場景是機械臂豎直向下，從單個角度去抓，抓取通常由平面內(nèi)的抓取四邊形，以及平面內(nèi)的旋轉(zhuǎn)角度表示（Oriented 2D rectangle）：

根據(jù)使用的數(shù)據(jù)RGB/Depth不同，又可以分為以下三類：基于RGB，基于RGB+Depth，和基于Depth。

1.1 基于RGB的抓取估計

數(shù)據(jù)集包括：Cornell數(shù)據(jù)集（http://pr.cs.cornell.edu/grasping/rect_data/data.php）和Jacquard數(shù)據(jù)集https://jacquard.liris.cnrs.fr/，為 人工構(gòu)建；

基于以上的數(shù)據(jù)集，出現(xiàn)了很多方法，代表作是2014-Deep Learing for Detecting Robotic Grasps，2014-Real-Time Grasp Detection Using Convolutional Neural Networks，2018-Real-world Multi-object, Multi-grasp Detection等，首先生成大量抓取框候選，再進一步優(yōu)化得到最終抓取；

亞馬遜論文2015-Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours使用機器自動采集訓練集，訓練了一個平面抓取估計算法，其數(shù)據(jù)集如下：

1.2基于RGB+Depth的抓取估計

這類方法本質(zhì)上與與RGB方法一致，只是多了Depth通道的信息，代表方法有2017-Robotic Grasp Detection using Deep Convolutional Neural Networks等。

1.3 基于Depth的抓取估計

代表性方法是2017-Dex-Nex 2.0 Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics，https://berkeleyautomation.github.io/dex-net/，該方法自己構(gòu)建基于深度圖的抓取質(zhì)量數(shù)據(jù)集，訓練得到抓取質(zhì)量評估網(wǎng)絡(luò)。在線使用時，采集當前視角下的深度圖，分割目標物體對應(yīng)的深度圖，在深度圖上生成上百個候選抓取位置，得到上百個抓取位置下的深度圖，每一個都得到一個抓取質(zhì)量，選擇質(zhì)量最高的進行抓取。其數(shù)據(jù)集和算法流程如下圖所示。

1.4 總結(jié)

這類方法適合固定場合下，從單個角度進行抓取。訓練數(shù)據(jù)生成時，每個物體在平面內(nèi)的放置情況是有概率分布的；而如果擴展到任意視角下，很多視角下的數(shù)據(jù)在訓練集中不存在；任意角度下，網(wǎng)絡(luò)本身也不一定能夠?qū)W習到適合抓取的位置。因此，該類方法不適合從任意角度進行抓取。

2、6DoF空間抓取：

平面抓取首先于只能從單個角度去抓，如果想更加靈活，需要獲取6DoF的抓取姿態(tài)，如下圖。

2.1 代表性方法

近年來的代表性方法包括2017-Grasp Pose Detection in Point Clouds，2018-PointNetGPD：Detecting Grasp Configurations from Point Sets，2019-6-Dof GraspNet：Variational Grasp Generation for Object Manipulation等，都包含兩大模塊：候選抓取位置的篩選，以及抓取質(zhì)量的評估。這類方法思路與Dex-Net2.0相同，但是作用在3D空間。

2017-GPD使用傳統(tǒng)方法進行候選抓取位置的篩選，需要滿足抓取器不與物體碰撞，且抓取器內(nèi)部至少存在一個點；之后基于三個角度下Depth圖像基于CNN網(wǎng)絡(luò)等進行抓取質(zhì)量估計，如下圖所示。

2018-PointNetGPD (Hamberger University, Jianwei Zhang)也使用傳統(tǒng)方法篩選候選抓取位置，之后不使用深度圖評估抓取質(zhì)量，而是使用抓取器內(nèi)部的點云，使用3D神經(jīng)網(wǎng)絡(luò)PointNet進行抓取質(zhì)量估計，如下圖所示。

2019-6-Dof GraspNet (Nvidia)，對兩大模塊進行了改進，首先使用大規(guī)模虛擬數(shù)據(jù)進行候選抓取位置的Encoder，這樣給定單視角下的點云，能夠Decoder出少量質(zhì)量很高的候選抓取位置；其次，不同于PointNetGPD只對抓取器內(nèi)部的點云進行抓取質(zhì)量評估，其對抓取器連同單視角點云，一起使用PointNet++網(wǎng)絡(luò)評估抓取質(zhì)量；最后還對最終抓取位置進行了優(yōu)化。其框架如下圖。

2.2 總結(jié)

進行空間6-Dof抓取，需要進行實例分割，確保點云準確，噪聲少，否則影響效果；訓練可在虛擬環(huán)境中進行，只要虛擬環(huán)境中的3D模型精確，則不使用domain adaption也能在真實環(huán)境下得到很好的結(jié)果。

該類方法適合任意角度的抓取，然而該類方法的弊端是，盡管使用了Encoder和Decoder的方式生成候選抓取位置，但是單個角度下獲得的數(shù)據(jù)畢竟有限，而如果能夠?qū)ξ矬w進行補全，則使用傳統(tǒng)方法生成候選抓取位置也能夠得到很好的結(jié)果。這類方法在下一章介紹。

3、形狀補全：

3.1代表方法

這類方法也有很多的嘗試，代表方法主要有：2017-Shape Completion Enabled Robotic Grasping，2019-Multi-Modal Geometric Learning for Grasping and Manipulation，2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks，2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion等。

2017-Shape Completion Enabled Robotic Grasping是代表性方法，使用3D CNN進行shape completion，其框圖如下。

2019-Multi-Modal Geometric Learning for Grasping and Manipulation, (Peter Allen, Columbia University)，根據(jù)觸覺得到對側(cè)的點信息，輔助進行修補。

2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks（Google Brain and X）使用RGB+Depth作為輸入的網(wǎng)絡(luò)結(jié)構(gòu)，進行形狀補全；Video demos can be accessed via https://sites.google.com/site/shapeawaresimtoreal/

2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion (MIT) 使用關(guān)鍵點以及同一類型的3D模型輔助進行形狀補全，Video demos can be accessed via https://sites.google.com/view/generalizable-manipulation/

3.2 總結(jié)

這類方法能夠?qū)σ活愊嗨频男螤畹玫讲诲e的修補結(jié)果，無法做到任意通用；但如果能夠?qū)σ活愇矬w進行了較好的修補，則進行候選抓取位置估計，以及抓取質(zhì)量評價都可以使用傳統(tǒng)方法。

4、人形抓手

以上方法針對的都是平行兩指抓取器，而當前絕大多數(shù)方法，都沒有考慮人形抓手，因為其自由度太高了。做不到任意抓取以及通用，然而針對少量物體，或者一類物體，可以得到較好的結(jié)果。

4.1代表方法

2019-Generating Grasp Poses for a High-DOF Gripper Using Neural Networks（Xu Kai, NUDT and University of Maryland at College Park）：

針對25DoF的手形抓取器，依賴完整物體體素模型，訓練集使用GraspIt!生成，如下圖，之后使用神經(jīng)網(wǎng)絡(luò)訓練模型得到抓取姿態(tài)，其框架如下圖。

4.2 總結(jié)

使用人形抓手進行通用抓取太難了，現(xiàn)階段實現(xiàn)不了。可以針對特定一類物體，實現(xiàn)類內(nèi)的通用抓取。

編輯：黃飛

?