自2000年代初大規(guī)模生產(chǎn)以來(lái)，掃地機(jī)器人已成為家庭自動(dòng)化領(lǐng)域非常成功的商業(yè)產(chǎn)品。

近年來(lái)，在市場(chǎng)需求的倒逼下，諸多相關(guān)企業(yè)通過(guò)在掃地機(jī)器人上集成掃地、拖地、自動(dòng)補(bǔ)水、自動(dòng)集塵、自動(dòng)洗拖布、自動(dòng)烘干以及除菌等各類(lèi)功能來(lái)增強(qiáng)掃地機(jī)器人的實(shí)用性與使用便捷性。但由于缺乏“手”沒(méi)有對(duì)物品的操縱能力，大多數(shù)掃地機(jī)器人僅能承擔(dān)地面清潔工作且對(duì)地面環(huán)境有一定要求，適用性仍有待加強(qiáng)。

如果對(duì)掃地機(jī)器人進(jìn)行加裝機(jī)械臂的升級(jí)處理，掃地機(jī)器人是否能夠處理更為廣泛的家務(wù)，將人類(lèi)從家務(wù)中更多解放出來(lái)，助力人們節(jié)省更多時(shí)間和精力？前不久，由伊利諾伊大學(xué)厄巴納-香檳分校(UIUC)JoohyungKim教授運(yùn)營(yíng)的動(dòng)能智能機(jī)器實(shí)驗(yàn)室（KIMLAB）提出了一種模塊化附加系統(tǒng)。

該系統(tǒng)可以實(shí)現(xiàn)機(jī)械手與現(xiàn)有的掃地機(jī)器人無(wú)縫集成，只需對(duì)真空機(jī)器人進(jìn)行較少的改動(dòng)即可輕松連接和拆卸機(jī)械手，并在不影響掃地機(jī)器人原始功能的基礎(chǔ)上對(duì)進(jìn)行更為廣泛的功能擴(kuò)展。

通過(guò)添加6-DOF操縱器、用于實(shí)現(xiàn)卓越感知的RGB-D攝像頭以及用于增強(qiáng)導(dǎo)航的LiDAR傳感器，該附加系統(tǒng)可極大提升掃地機(jī)器人感知和操縱能力，可掃地機(jī)器人執(zhí)行導(dǎo)航到地圖上特定位置、打開(kāi)門(mén)、抓取物體并將其放置在指定位置等任務(wù)，具有巨大實(shí)際應(yīng)用潛力。

這一系統(tǒng)具體是怎樣實(shí)現(xiàn)的呢？接下來(lái)就和計(jì)算機(jī)視覺(jué)life一起來(lái)深入看看吧！

▍六自由度機(jī)械臂如何集成到掃地機(jī)器人？

在進(jìn)行為掃地機(jī)器人硬件平臺(tái)添加操縱功能的嘗試中，研究人員此前曾進(jìn)行過(guò)兩項(xiàng)研究實(shí)驗(yàn)。

一項(xiàng)研究為將帶有夾具的4自由度(DoF)機(jī)器人手臂連接到掃地機(jī)器人上，執(zhí)行打開(kāi)抽屜或拾取輕物體等任務(wù)。另一項(xiàng)研究為在掃地機(jī)器人上集成雙3-DoF肢體，幫助其克服移動(dòng)底座的挑戰(zhàn)性障礙。

通過(guò)實(shí)驗(yàn)，研究人員證實(shí)了為掃地機(jī)器人增加操縱能力存在潛力，并發(fā)現(xiàn)在實(shí)際應(yīng)用中，為掃地機(jī)器人加裝的機(jī)械臂需要在自由度、工作空間、負(fù)載能力等方面具備更強(qiáng)能力。此外，研究人員還認(rèn)識(shí)到，機(jī)械手直接安裝到真空機(jī)器人可能會(huì)對(duì)掃地機(jī)器人有效負(fù)載能力造成較大負(fù)擔(dān)，在不對(duì)掃地機(jī)器人進(jìn)行重大修改的情況下，將機(jī)械臂牢固安裝在掃地機(jī)器人頂面，并保證掃地機(jī)器人不側(cè)翻、機(jī)械臂性能發(fā)揮不被影響存在一定挑戰(zhàn)。

針對(duì)以上問(wèn)題，研究團(tuán)隊(duì)經(jīng)多次方案設(shè)計(jì)討論后，最終決定了采用對(duì)掃地機(jī)器人改動(dòng)程度最小的模塊化附加解決方案。

在實(shí)驗(yàn)器材選擇上，研究團(tuán)隊(duì)選用了帶有夾具的可插拔六自由度機(jī)械臂PAPRAS（即插即用機(jī)械臂）作為加裝機(jī)械臂，iRobot的Create2Robot可編程掃地機(jī)器人作為移動(dòng)底座，并創(chuàng)建了一個(gè)可以連接到掃地機(jī)器人和機(jī)器人的附加結(jié)構(gòu)以集成兩者。

系統(tǒng)規(guī)格

附加結(jié)構(gòu)由臂安裝插座、支撐腿和附件平臺(tái)組成，結(jié)構(gòu)框架主要用過(guò)3D打印制造。為了將附加結(jié)構(gòu)連接到真空機(jī)器人，3D打印部件被植入機(jī)器人的頂面，從而可以使用兩側(cè)的閂鎖和磁鐵進(jìn)行安全連接。

在附加結(jié)構(gòu)正面，配置有一個(gè)用于2DSLAM功能的LiDAR，背面的電池為機(jī)械臂和附加系統(tǒng)的組件提供電力。附加組件的電池與底座電源采用分離式設(shè)計(jì)，這使得掃地機(jī)器人的電池使用時(shí)長(zhǎng)不會(huì)受加裝影響。在組件布置上，附加結(jié)構(gòu)的質(zhì)心也和掃地機(jī)器人的質(zhì)心盡量重合。

(a)組裝機(jī)器人系統(tǒng)。(b)系統(tǒng)的分解圖。

作為機(jī)械手的固定裝置和安裝平臺(tái)，附加結(jié)構(gòu)設(shè)計(jì)有支撐腿。從中心向外延伸，附加結(jié)構(gòu)有4個(gè)末端帶有滾珠腳輪的腿。當(dāng)安裝在掃地機(jī)器人上時(shí)，滾珠腳輪可保持與地面的接觸。這有助于分配附加結(jié)構(gòu)和機(jī)器人手臂的重量，使移動(dòng)底座免于承載負(fù)載，并允許充分利用手臂的有效負(fù)載能力，而無(wú)需擔(dān)心底座機(jī)器人過(guò)載或翻倒。

附加結(jié)構(gòu)每條腿末端的球腳輪擴(kuò)展了支撐多邊形，使機(jī)械手能夠使用其完整的運(yùn)動(dòng)范圍，而不會(huì)出現(xiàn)翻倒的風(fēng)險(xiǎn)。這也增強(qiáng)了手臂遠(yuǎn)距離處理有效負(fù)載的能力。手臂可以在其最大可達(dá)范圍的75%處拾取1kg的物體。

加裝附加結(jié)構(gòu)后的工作區(qū)。所有單位均為毫米。(a)側(cè)視圖中的工作區(qū)。(b)末端執(zhí)行器負(fù)載1kg時(shí)的最大機(jī)械臂跨度。虛線顯示沒(méi)有負(fù)載時(shí)可到達(dá)的工作空間。

同時(shí)，附加結(jié)構(gòu)的應(yīng)用使機(jī)械臂PAPRAS系統(tǒng)模塊化，無(wú)需復(fù)雜的緊固過(guò)程或繁瑣的電氣接線問(wèn)題，只需將附加結(jié)構(gòu)進(jìn)行安全放置和鎖定，便可以快速輕松地將機(jī)械手部署到掃地機(jī)器人上。一旦機(jī)械手與安裝座完全接合，電源和通信的電氣連接就會(huì)通過(guò)機(jī)械手底部的連接器自動(dòng)建立。

▍模塊化附加系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)

在進(jìn)行附加結(jié)構(gòu)這一硬件設(shè)計(jì)制作的同時(shí)，研究團(tuán)隊(duì)也就附加系統(tǒng)進(jìn)行了設(shè)計(jì)。

附加系統(tǒng)包括一臺(tái)用于操作機(jī)器人手臂的計(jì)算機(jī)和另一臺(tái)用于感知的計(jì)算機(jī)。掃地機(jī)器人軟件堆棧由負(fù)責(zé)不同任務(wù)的多個(gè)模塊組成。主操作PC負(fù)責(zé)規(guī)劃、導(dǎo)航目標(biāo)以及與機(jī)器人硬件的接口，而感知計(jì)算機(jī)則負(fù)責(zé)感知堆棧并處理來(lái)自相機(jī)的數(shù)據(jù)。擬議的系統(tǒng)包括移動(dòng)機(jī)器人自動(dòng)化家務(wù)任務(wù)的基本功能，例如SLAM和感知功能。將六自由度機(jī)械臂和用于導(dǎo)航和感知的附加傳感器結(jié)合到掃地機(jī)器人中，使得系統(tǒng)能夠執(zhí)行實(shí)際的家庭任務(wù)。

帶移動(dòng)底座的PAPRAS附加軟件系統(tǒng)設(shè)計(jì)。

感知模塊

感知模塊使用連接到機(jī)器人手臂末端執(zhí)行器的RGB-D相機(jī)來(lái)提供高分辨率的顏色和深度信息。該模塊采用OpenCV的斑點(diǎn)搜索算法進(jìn)行2D對(duì)象檢測(cè)，該算法識(shí)別二值圖像中具有相似強(qiáng)度和大小的區(qū)域，并將它們分組為斑點(diǎn)。該算法提取圖像幀中與感興趣對(duì)象相對(duì)應(yīng)的斑點(diǎn)的位置和大小。

同時(shí)，要估計(jì)物體在3D世界中的位置，需要額外的信息，例如物體的深度或距相機(jī)的距離。

假設(shè)感興趣的物體位于點(diǎn)（, __）在相機(jī)圖像中，其深度為z，研究人員使用針孔相機(jī)模型計(jì)算物體在相機(jī)坐標(biāo)系中的3D位置：

在這里FX和Fy分別是相機(jī)沿x軸和y軸的焦距，CX和Cy是圖像平面中主點(diǎn)的坐標(biāo)。3D對(duì)象位置估計(jì)可用于對(duì)象操縱和避免碰撞任務(wù)。

狀態(tài)估計(jì)

掃地機(jī)器人的狀態(tài)估計(jì)模塊對(duì)于其導(dǎo)航和執(zhí)行移動(dòng)操縱任務(wù)的能力至關(guān)重要。

該模塊采用通過(guò)ROSgmapping包實(shí)現(xiàn)的2DSLAM算法。該算法使用LiDAR掃描、里程計(jì)、閉環(huán)檢測(cè)和圖形優(yōu)化迭代更新地圖和機(jī)器人的姿態(tài)估計(jì)。貝葉斯規(guī)則用于計(jì)算機(jī)器人姿態(tài)的概率以及給定傳感器測(cè)量值和機(jī)器人運(yùn)動(dòng)的地圖：P（Xt,m|Z1:t,U1:t）。

在這里Xt是機(jī)器人此時(shí)的位姿時(shí)間，m是地圖，Z1:t是傳感器的實(shí)時(shí)測(cè)量值，U1:t是機(jī)器人在t時(shí)刻的運(yùn)動(dòng)指令。該方程用于根據(jù)傳感器測(cè)量值和運(yùn)動(dòng)命令更新每個(gè)時(shí)間步的機(jī)器人姿勢(shì)和地圖的置信度。這個(gè)方程用于根據(jù)傳感器測(cè)量和運(yùn)動(dòng)命令，在每次時(shí)間步更新機(jī)器人的姿態(tài)和地圖的置信度。

規(guī)劃和控制

掃地機(jī)器人的規(guī)劃與控制模塊負(fù)責(zé)執(zhí)行復(fù)雜的移動(dòng)操縱任務(wù)，例如物體拾取和避障等。

為了實(shí)現(xiàn)這一目標(biāo)，該模塊結(jié)合使用了ROS控制、MoveIt規(guī)劃框架、create_robotROS驅(qū)動(dòng)程序API和ROS導(dǎo)航堆棧包。

規(guī)劃和控制模塊利用狀態(tài)估計(jì)信息為機(jī)器人生成可行且安全的運(yùn)動(dòng)。該模塊使用MoveIt生成供機(jī)器人跟隨的無(wú)碰撞軌跡，而ROS控制則執(zhí)行這些運(yùn)動(dòng)。此外，該模塊利用檢測(cè)到的物體的3D位置來(lái)確定機(jī)器人夾爪拾取物體所需的關(guān)節(jié)角度。

TRAC-IK數(shù)值逆運(yùn)動(dòng)學(xué)求解器用于計(jì)算機(jī)器人末端執(zhí)行器到達(dá)所需位置所需的關(guān)節(jié)角度。然后，OMPL的RRT-Connect規(guī)劃器使用生成的關(guān)節(jié)角度來(lái)找到機(jī)器人末端執(zhí)行器抓取物體的有效軌跡。為了增強(qiáng)對(duì)象操作的魯棒性，規(guī)劃器結(jié)合檢測(cè)到對(duì)象的3D位置來(lái)計(jì)算目標(biāo)抓取姿勢(shì)。硬件接口通過(guò)ROS服務(wù)和動(dòng)作控制機(jī)器人的運(yùn)動(dòng)、夾爪和其他設(shè)備。該模塊在生成運(yùn)動(dòng)軌跡時(shí)考慮機(jī)器人的關(guān)節(jié)約束。通過(guò)這樣做，機(jī)器人可以平穩(wěn)、安全地執(zhí)行任務(wù)，而不會(huì)超出或低于目標(biāo)位置。

PAPRAS附加系統(tǒng)使用create_robotAPI連接和控制iRobotCreate2，這是一組專(zhuān)門(mén)為控制移動(dòng)底座而設(shè)計(jì)的ROS節(jié)點(diǎn)和軟件包。iRobotCreate2可以使用USB電纜連接到PAPRASNUC計(jì)算機(jī)。連接后，機(jī)器人將打開(kāi)并放置在水平表面上。create_robotAPI由多個(gè)ROS節(jié)點(diǎn)組成，建立用于導(dǎo)航傳動(dòng)系統(tǒng)的基本遠(yuǎn)程操作接口。一旦create_robotROS節(jié)點(diǎn)運(yùn)行，就可以使用ROS主題和服務(wù)來(lái)控制機(jī)器人。

▍三大演示展示系統(tǒng)應(yīng)用潛力

完成對(duì)掃地機(jī)器人的加裝改造后，研發(fā)團(tuán)隊(duì)就掃地機(jī)器人執(zhí)行導(dǎo)航、開(kāi)門(mén)和關(guān)門(mén)、清除地板上的小障礙物三大任務(wù)進(jìn)行了演示，以展示機(jī)器人的軟件堆棧和機(jī)械臂如何讓機(jī)器人執(zhí)行超出傳統(tǒng)掃地機(jī)器人能力的各種任務(wù)，展現(xiàn)此類(lèi)系統(tǒng)在家庭自動(dòng)化、老年護(hù)理和其他服務(wù)機(jī)器人應(yīng)用中的潛力。

導(dǎo)航

傳統(tǒng)的掃地機(jī)器人作業(yè)涉及預(yù)編程模式，這些模式使得掃地機(jī)器人只能導(dǎo)航到房間執(zhí)行清潔任務(wù)。雖然掃地機(jī)器人目前使用視覺(jué)SLAM，但添加機(jī)械臂可以擴(kuò)展機(jī)器人的選項(xiàng)和功能范圍。現(xiàn)在可以命令掃地機(jī)器人到特定位置來(lái)運(yùn)輸物體，例如將物品從廚房桌子帶到柜臺(tái)或水槽。由于增加了容納各種物體和導(dǎo)航預(yù)定地圖的能力，掃地機(jī)器人被賦予了擴(kuò)展的功能和用途。

導(dǎo)航任務(wù)(a)系統(tǒng)嘗試?yán)L制地圖的現(xiàn)實(shí)世界環(huán)境。(b)激光雷達(dá)可視化。

在此演示中，研究團(tuán)隊(duì)使用2DSLAM將機(jī)器人導(dǎo)航到地圖上的位置，同時(shí)機(jī)械臂握住各種物體。首先，使用gmapping庫(kù)，掃地機(jī)器人手動(dòng)生成其環(huán)境的地圖。一旦創(chuàng)建了該地圖，機(jī)器人就可以使用位置數(shù)據(jù)在環(huán)境中自主導(dǎo)航。掃地機(jī)器人能夠?qū)⒀b有各種物品的托盤(pán)從一個(gè)位置運(yùn)送到第二位置。附加系統(tǒng)的添加通過(guò)有目的的導(dǎo)航擴(kuò)展了掃地機(jī)器人的功能。

門(mén)的開(kāi)關(guān)

配備機(jī)械臂的掃地機(jī)器人底座具備一個(gè)顯著優(yōu)勢(shì)就是能夠在房子周?chē)苿?dòng)并進(jìn)入櫥柜內(nèi)的不同房間和區(qū)域。通過(guò)使機(jī)器人能夠在其環(huán)境中操縱物理對(duì)象，機(jī)器人執(zhí)行復(fù)雜任務(wù)的效用和能力得到顯著擴(kuò)展。

手臂的增加令掃地機(jī)器人可以打開(kāi)關(guān)閉的門(mén)以清潔其后面的房間，這一任務(wù)當(dāng)前掃地機(jī)器人是無(wú)法做到的，這一功能的實(shí)現(xiàn)使得用戶(hù)無(wú)需重新啟動(dòng)清潔過(guò)程或保持門(mén)打開(kāi)。此外，改進(jìn)后的掃地機(jī)器人能夠打開(kāi)抽屜、檢索物品并將其輕松交付給用戶(hù)。這些新功能顯著增強(qiáng)了移動(dòng)機(jī)器人基地在各種環(huán)境下可以完成的任務(wù)范圍。

演示中，研究團(tuán)隊(duì)對(duì)機(jī)柜相對(duì)于機(jī)器人的三維模型進(jìn)行定位，從而使機(jī)器人能夠獲取手柄位姿信息。根據(jù)櫥柜的模型和條件等預(yù)定知識(shí)，機(jī)器人可以制定到達(dá)門(mén)把手并隨后打開(kāi)門(mén)的計(jì)劃。機(jī)械臂的規(guī)劃抓取軌跡可以在rviz中可視化。通過(guò)使用手臂打開(kāi)和關(guān)閉門(mén)，機(jī)器人可以更有效地導(dǎo)航和清潔各種環(huán)境。

清潔地板上的小障礙物

在清潔地板上的小障礙物的演示中，研究團(tuán)隊(duì)使用手眼攝像頭來(lái)檢測(cè)小障礙物，例如衣服或布料，這些障礙物可能會(huì)阻礙傳統(tǒng)掃地機(jī)器人的清潔過(guò)程。傳統(tǒng)的掃地機(jī)器人無(wú)法識(shí)別和清除小物體，機(jī)器人有可能會(huì)跑過(guò)障礙物使其自身癱瘓，或者避開(kāi)障礙物并在其周?chē)M(jìn)行清潔，這會(huì)導(dǎo)致清潔不徹底。六自由度機(jī)械臂的集成使掃地機(jī)器人能夠檢測(cè)并清除此類(lèi)障礙物，從而確保更徹底的清潔過(guò)程。

移動(dòng)操作序列可清除小障礙物，對(duì)整個(gè)地板進(jìn)行真空吸塵。

在上圖所示的4個(gè)步驟序列的演示中，研究團(tuán)隊(duì)假設(shè)阻礙掃地機(jī)器人路徑的物體是毛巾或衣服等織物，并使用圖像處理技術(shù)來(lái)檢測(cè)物體并計(jì)算其與機(jī)器人的距離。然后，機(jī)械臂會(huì)生成一條通向物體的平滑路徑，將其拾起，并將其重新定位到機(jī)器人無(wú)法擋道的位置。這種有效且成功地去除小障礙物的方式對(duì)于清潔過(guò)程以及其他應(yīng)用來(lái)說(shuō)是有益的。