現(xiàn)如今，機器人被越來越多地應(yīng)用于制造業(yè)和倉儲物流領(lǐng)域。但是，在這些工作環(huán)境中，工作人員與機器人的活動空間通常被隔離開。因此，如何使人類與機器人之間產(chǎn)生互動尤為重要。

人類與機器人的交流方式不同。具體來說，人類習慣使用語言和手勢進行交流。而機器人則以數(shù)字形式交換信息，如，文本命令。這有可能導致人類與機器人之間的交流產(chǎn)生偏差。

增強現(xiàn)實（AR，Augmented Reality）技術(shù)能夠?qū)C器人的行為可視化，從而彌補機器人與人類之間的溝通障礙。不僅如此，AR 還提供了高帶寬和模糊性低的可替代通信機制。

目前，基于 AR 的可視化系統(tǒng)都是由人工設(shè)計的，會出現(xiàn)可視化信息太多或太少的情況。當可視化信息太少時，用戶會發(fā)現(xiàn) AR 界面無法發(fā)揮作用；當可視化信息過多時，對用戶來說，處理相應(yīng)的信息便相對困難。

?

為了使人類與多機器人之間能夠產(chǎn)生更好的交互體驗，研究者用模仿學習方法實現(xiàn)了 AR 的智能化，開發(fā)出名為“模仿學習式 AR 可視化”（VARIL，Visualizations for Augmented Reality using Imitation Learning）技術(shù)框架。

美國紐約州立大學賓漢姆頓分校計算機科學系在讀博士生基山·堅登（Kishan Chandan）、本科生杰克·艾伯森（Jack Albertson）、張世琦教授為論文作者。

VARIL 技術(shù)輔助人與機器人之間進行有效互動

VARIL 技術(shù)能夠輔助人與機器人之間進行有效的互動。它通過分析機器人和人的狀態(tài)決策哪些信息、什么時間、以什么形式被可視化。

圖 | VARIL 框架（來源：CoRL）

具體來講，VARIL 技術(shù)可以用 AR 接口同時跟蹤多個機器人狀態(tài)、動態(tài)選擇 AR 可視化動作，包括 AR 幫助搬運工人感知機器人的位置和規(guī)劃運動軌跡等。

在 VARIL 中有兩個不同的人類實體，一個是人類工作者的角色，另一個是人類專家。假設(shè)一組機器人與一個人類在同一空間工作。這組機器人不斷使用 AR 接口共享狀態(tài)和計劃。與此同時，人類能夠使用該 AR 接口跟蹤機器人團隊的狀態(tài)。

人類工人與機器人團隊合作，同時完成任務(wù)。在進行 VARIL 技術(shù)演示的過程中，人類專家參與進來，負責指示在特定時間內(nèi)可視化（或不可視化）哪些信息。

一旦生成新的策略，AR 智能設(shè)備就會更新可視化信息，模仿人類專家演示者建議的操作。值得注意的是，專家只在策略學習階段參與進來，一旦智能設(shè)備學習到相關(guān)的策略，就不再需要人類專家。

在不同的 AR 可視化策略下完成任務(wù)

論文中提到，為探究虛擬人與機器人在不同的 AR 可視化策略下完成任務(wù)的情況，研究人員創(chuàng)建出用于模擬倉庫環(huán)境的演示平臺（具有內(nèi)置實驗室）。平臺不僅便于人類與機器人相互協(xié)作，而且可以對 VARIL 框架進行經(jīng)驗評估。

圖 | 虛擬人與機器人在不同的 AR 可視化策略下完成任務(wù)（來源：CoRL）

在虛擬的倉庫環(huán)境中，研究人員設(shè)定 12 個機器人與 1 個虛擬人類合作完成系統(tǒng)交付的任務(wù)。機器人的任務(wù)是將物體運送到不同的地點（卸貨站），人類幫助等待在卸貨站的機器人卸貨。

圖 | 兩種不同規(guī)模的倉庫環(huán)境（來源：CoRL）

在沒有 AR 可視化的情況下，人類工人無法獲取機器人的位置以及了解機器人計劃做什么；在 AR 完全可視化的情況下，虛擬人類可能會被視覺指標淹沒；在模仿學習 AR 可視化（VARIL）的情況下，AR 軟件機器人使用學習到的策略，根據(jù)人類和機器人的交互動態(tài)確定可視化策略。

完成任務(wù)后，研究人員收集了 6000 個“狀態(tài)-動作”成對數(shù)據(jù)集。他們還用迭代模仿學習算法在該數(shù)據(jù)集中訓練 AR 智能化設(shè)備。

然后，他們將兩種可視化策略進行了比較。結(jié)果表明，隨著模仿學習迭代次數(shù)的增加，行動與策略之間的沖突急劇減少。此外，初始策略與訓練后獲得的策略相比，后者可減少機器人的等待時間。

之后，研究者還用 25 個真實參與者評估了 VARIL 是如何影響用戶體驗的。在倉庫中，每個參與者都被要求操作一個虛擬人，并填寫一份主觀評價調(diào)查問卷。

圖 | ARROCH 和 CRMIAR 兩種可視化系統(tǒng)（來源：CoRL）

真實人類參與者的實驗結(jié)果表明，與文獻中的兩種可視化系統(tǒng)（對照組）生成的基線相比，VARIL 技術(shù)能夠顯著提高人類與機器人交互效率，同時減少人類用戶的分心水平。

除了定性評估外，研究者還比較了人類學習期間的任務(wù)完成時間。結(jié)果顯示，VARIL 技術(shù)能夠使人類與多機器人協(xié)作團隊的任務(wù)完成效率顯著提升，使機器人等待卸貨的時間降低了 15%。

雖然研究人員使用機器人演示 AR 人機交互系統(tǒng)，但是在真實世界中構(gòu)建和評估這種系統(tǒng)十分困難。

因為，人類工作人員需要在投遞站之間行走。在投遞站中，每個導航操作都可能需要很長時間。更復雜的是，機器人需要實時合作來完成任務(wù)，如果其中一個機器人被困在動態(tài)障礙上，可能會提前終止試驗。

開源模擬器可以模擬倉庫環(huán)境，避免出現(xiàn)上述問題。盡管這樣的模擬器并不能克服人機協(xié)作的所有挑戰(zhàn)，但它能夠令 AR 研究人員專注于設(shè)計算法，而不是繁瑣的軟件開發(fā)工作。

未來，研究團隊還將通過問卷調(diào)查的方式進一步評估 VARIL 的用戶體驗，并優(yōu)化 VR 人機協(xié)作系統(tǒng)。

參考資料

Kishan Chandan，Jack Albertson, Shiqi Zhang，CoRL，（2022）.https://kishanchandan.github.io/varil.html

編輯：黃飛

?