本文提出了一種將視覺(jué)語(yǔ)言模型（VLM）轉(zhuǎn)換為端到端導(dǎo)航策略的具體框架。不依賴于感知、規(guī)劃和控制之間的分離，而是使用VLM在一步中直接選擇動(dòng)作。驚訝的是，我們發(fā)現(xiàn)VLM可以作為一種無(wú)需任何微調(diào)或?qū)Ш綌?shù)據(jù)的端到端策略來(lái)使用。這使得該方法具有開(kāi)放性和可適用于任何下游導(dǎo)航任務(wù)的通用性。

01本文核心內(nèi)容

導(dǎo)航問(wèn)題的很大一部分涉及到與回答長(zhǎng)上下文圖像和視頻問(wèn)題所需的類似認(rèn)知過(guò)程，這正是當(dāng)代視覺(jué)語(yǔ)言模型（VLMs）擅長(zhǎng)的領(lǐng)域。然而，當(dāng)這些模型被直接應(yīng)用于導(dǎo)航任務(wù)時(shí)，局限性便顯現(xiàn)出來(lái)。具體而言，當(dāng)給定一個(gè)與觀察-動(dòng)作歷史相結(jié)合的任務(wù)描述時(shí)，VLMs 常常難以生成精細(xì)的空間輸出以避開(kāi)障礙物，并且無(wú)法有效利用其長(zhǎng)上下文推理能力來(lái)支持有效的導(dǎo)航。

為應(yīng)對(duì)這些挑戰(zhàn)，先前的工作將VLMs作為模塊化系統(tǒng)的一個(gè)組成部分，以執(zhí)行高級(jí)推理和識(shí)別任務(wù)。這些系統(tǒng)通常包含一個(gè)明確的3D映射模塊和一個(gè)規(guī)劃器來(lái)處理任務(wù)中更具實(shí)體性的部分，例如運(yùn)動(dòng)和探索。雖然模塊化具有讓每個(gè)組件僅用于其擅長(zhǎng)的子任務(wù)的優(yōu)勢(shì)，但也帶來(lái)了系統(tǒng)復(fù)雜性和任務(wù)專業(yè)化的劣勢(shì)。

在本研究中，我們表明，現(xiàn)成的VLM可用作零樣本和端到端的語(yǔ)言條件導(dǎo)航策略。實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵思路是將導(dǎo)航問(wèn)題轉(zhuǎn)化為VLM擅長(zhǎng)的事情：回答有關(guān)圖像的問(wèn)題。

為此，我們開(kāi)發(fā)了一種新穎的提示策略，使VLM能夠明確考慮探索和避障問(wèn)題。這種提示具有通用性，即它可用于任何基于視覺(jué)的導(dǎo)航任務(wù)。

與先前的方法相比，我們未使用特定模態(tài)的experts，未訓(xùn)練任何特定領(lǐng)域的模型，也未假定能夠獲取模型的概率。

我們?cè)谝汛_立的具身導(dǎo)航基準(zhǔn)上對(duì)我們的方法進(jìn)行了評(píng)估，結(jié)果表明，與現(xiàn)有的提示方法相比，我們的方法顯著提高了導(dǎo)航性能。

02相關(guān)工作

最常見(jiàn)的學(xué)習(xí)端到端導(dǎo)航策略的方法是利用離線數(shù)據(jù)集從頭訓(xùn)練模型。然而，大規(guī)模導(dǎo)航數(shù)據(jù)的收集頗具挑戰(zhàn)，以致這些模型在推廣至新任務(wù)或分布外環(huán)境時(shí)往往表現(xiàn)不佳。

另一種增強(qiáng)泛化能力的途徑是利用機(jī)器人特定數(shù)據(jù)對(duì)現(xiàn)有的視覺(jué)語(yǔ)言模型進(jìn)行微調(diào)。盡管此方法能生成更穩(wěn)健的端到端策略，但微調(diào)可能會(huì)破壞微調(diào)數(shù)據(jù)集中未涵蓋的特征，最終限制模型的泛化能力。

還有一種研究方向側(cè)重于零樣本使用這些模型，通過(guò)提示使模型的響應(yīng)與任務(wù)規(guī)范相符。例如，使用CLIP或DETIC特征將視覺(jué)觀測(cè)與語(yǔ)言目標(biāo)對(duì)齊，構(gòu)建環(huán)境的語(yǔ)義地圖，并采用傳統(tǒng)方法進(jìn)行規(guī)劃。其他研究工作設(shè)計(jì)了特定模塊來(lái)處理探索任務(wù)。這些系統(tǒng)通常需要對(duì)置信度進(jìn)行估計(jì)，以知曉何時(shí)停止探索，這通常通過(guò)使用令牌或?qū)ο蟾怕蕘?lái)實(shí)現(xiàn)。此外，許多此類方法還采用了低級(jí)導(dǎo)航模塊，將動(dòng)作選擇抽象為諸如快速行進(jìn)法之類的預(yù)訓(xùn)練點(diǎn)到點(diǎn)策略。

視覺(jué)提示方法：為了提升VLMs的任務(wù)特定性能，近期的工作包括在將圖像傳遞給VLMs之前對(duì)其進(jìn)行物理修改。

為具身導(dǎo)航提示VLMs：CoNVOI在圖像上覆蓋數(shù)字標(biāo)記，并提示VLMs輸出與上下文線索（例如，留在人行道上）一致的這些標(biāo)記序列，將其用作導(dǎo)航路徑。與我們的工作不同，它們（i）依賴低級(jí)規(guī)劃器來(lái)避開(kāi)障礙物，而非直接將VLMs的輸出作為導(dǎo)航動(dòng)作；（ii）未利用VLMs引導(dǎo)代理朝向特定目標(biāo)位置。PIVOT引入了一種與我們最為相似的視覺(jué)提示方法。他們通過(guò)將單步動(dòng)作表示為指向圖像上帶標(biāo)簽圓圈的箭頭來(lái)處理導(dǎo)航問(wèn)題。在每個(gè)步驟中，從各向同性的高斯分布中采樣動(dòng)作，其均值和方差根據(jù)VLMs的反饋迭代更新。在優(yōu)化分布后選擇最終動(dòng)作。雖然PIVOT能夠處理各種現(xiàn)實(shí)世界的導(dǎo)航和操作任務(wù)，但它有兩個(gè)顯著缺陷：（i）未納入深度信息來(lái)評(píng)估動(dòng)作提議的可行性，導(dǎo)致移動(dòng)效率較低；（ii）選擇單個(gè)動(dòng)作需要多次調(diào)用VLMs，導(dǎo)致較高的計(jì)算成本和延遲。

03方法架構(gòu)

我們提出了VLMnav，這一導(dǎo)航系統(tǒng)將目標(biāo)G（可以用語(yǔ)言或圖像來(lái)指定）、RGB-D圖像I、姿態(tài)ξ作為輸入，并隨后輸出動(dòng)作a。動(dòng)作空間由機(jī)器人框架中繞偏航軸的旋轉(zhuǎn)和沿前軸的位移組成，使得所有動(dòng)作都能以極坐標(biāo)來(lái)表示。由于已知VLM在處理連續(xù)坐標(biāo)時(shí)存在困難，我們轉(zhuǎn)而將導(dǎo)航問(wèn)題轉(zhuǎn)換為從一組離散選項(xiàng)中選擇動(dòng)作。我們的核心思路是以避免障礙物碰撞并促進(jìn)探索的方式來(lái)選擇這些動(dòng)作選項(xiàng)。

我們首先通過(guò)使用深度圖像來(lái)估計(jì)障礙物的距離，從而確定局部區(qū)域的可通行性。我們利用深度圖像和姿態(tài)信息來(lái)維持場(chǎng)景的自上而下的體素地圖，并顯著地將體素標(biāo)記為已探索或未探索。這樣的地圖由動(dòng)作提議器使用，以確定一組避免障礙物并促進(jìn)探索的動(dòng)作。然后，通過(guò)投影組件將這組可能的動(dòng)作投影到第一人稱視角的RGB圖像上。最后，VLM接收此圖像和精心設(shè)計(jì)的提示作為輸入，以選擇一個(gè)動(dòng)作，由代理執(zhí)行。為確定情節(jié)的終止，我們使用一個(gè)單獨(dú)的VLM調(diào)用。

04實(shí)驗(yàn)

我們?cè)趦蓚€(gè)廣受歡迎的具身導(dǎo)航基準(zhǔn)測(cè)試ObjectNav和GoatBench上對(duì)我們的方法進(jìn)行了評(píng)估，這兩個(gè)基準(zhǔn)測(cè)試均使用了來(lái)自Habitat-Matterport3D數(shù)據(jù)集的場(chǎng)景。此外，我們還分析了端到端VLM智能體的性能如何隨設(shè)計(jì)參數(shù)的變化而改變，例如視場(chǎng)、用于提示模型的上下文歷史長(zhǎng)度以及深度感知的質(zhì)量。

設(shè)置：智能體采用半徑為0.17米、高度為1.5米的圓柱體形狀。我們?yōu)橹悄荏w配備了一個(gè)以自我為中心的RGB-D傳感器，其分辨率為(1080,1920)，水平視場(chǎng)角（FOV）為131°。攝像頭像中那樣向下傾斜25°，有助于確定可導(dǎo)航性。考慮到其成本低且效果好，我們?cè)谒袑?shí)驗(yàn)中均使用GeminiFlash作為VLM。

指標(biāo)：與之前的工作相同，我們使用以下指標(biāo)：(i)成功率（SR）：成功完成的情節(jié)所占的比例；(ii)成功率加權(quán)逆路徑長(zhǎng)度（SPL）：路徑效率的衡量指標(biāo)。

基線：我們使用PIVOT作為基線，因?yàn)樗c我們的方法最為相似。為研究我們的動(dòng)作選擇方法的影響，我們將其剔除，評(píng)估“Oursw/onav”：與我們的方法相同，但不含可導(dǎo)航性和動(dòng)作提議器組件。此基線的動(dòng)作選擇是一組靜態(tài)的、等距分布的動(dòng)作選擇，包括轉(zhuǎn)身動(dòng)作。值得注意的是，這些動(dòng)作未考慮可導(dǎo)航性或探索。為進(jìn)一步評(píng)估視覺(jué)注釋的影響，我們還評(píng)估了基線“PromptOnly”，它能看到以文本描述的動(dòng)作（“轉(zhuǎn)身”、“向右轉(zhuǎn)”、“向前移動(dòng)”等），但沒(méi)有視覺(jué)注釋。這些不同的提示基線可在圖5中可視化。

05總結(jié)

在這項(xiàng)工作中，我們提出了VLMnav，這是一種新穎的視覺(jué)提示工程方法，能夠使現(xiàn)成的VLM充當(dāng)端到端的導(dǎo)航策略。該方法背后的主要思路是精心挑選動(dòng)作提議并將其投射到圖像上，有效地將導(dǎo)航問(wèn)題轉(zhuǎn)化為問(wèn)答問(wèn)題。通過(guò)在ObjectNav和GOAT基準(zhǔn)上的評(píng)估，我們發(fā)現(xiàn)其性能相較于迭代基線PIVOT（在視覺(jué)導(dǎo)航提示工程方面先前的最先進(jìn)水平）有了顯著提升。我們的設(shè)計(jì)研究進(jìn)一步凸顯了寬視場(chǎng)的重要性以及僅使用RGB圖像來(lái)部署我們的方法的可能性。

我們的方法存在一些局限性。禁用“允許滑動(dòng)”參數(shù)后性能的大幅下降表明存在多次與障礙物的碰撞，這在實(shí)際部署中可能會(huì)成為問(wèn)題。此外，我們發(fā)現(xiàn)像[A benchmark for multi-modal lifelongnavigation]這樣的專用系統(tǒng)表現(xiàn)優(yōu)于我們的工作。然而，隨著VLM能力的不斷提高，該方法或能夠幫助未來(lái)的VLM在具身任務(wù)中達(dá)到或超越專用系統(tǒng)的性能。