在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于Memolink通訊實現(xiàn)機(jī)器人視覺跟蹤系統(tǒng)的設(shè)計

電子設(shè)計 ? 來源:微計算機(jī)信息 ? 作者:龐云亭,黃強(qiáng) ? 2021-04-13 14:18 ? 次閱讀

仿人機(jī)器人的頭部視覺跟蹤系統(tǒng)利用視覺信息作為反饋,來規(guī)劃機(jī)器人的頭部運(yùn)動使其能實時的跟蹤運(yùn)動目標(biāo)。視覺跟蹤是仿人機(jī)器人的重要功能之一,它的研究對于仿人機(jī)器人的自主導(dǎo)航、人機(jī)交互以及視覺伺服都具有極其重要的意義。

視覺跟蹤的實時性是仿人機(jī)器人的重要性能要求之一。針對這一系統(tǒng)要求,近年來有很多學(xué)者設(shè)計出了多種系統(tǒng)結(jié)構(gòu)。文中作者設(shè)計了一種基于CAN總線的分布式的仿人機(jī)器人的控制系統(tǒng),其中的視覺系統(tǒng)通過無線局域網(wǎng)與控制系統(tǒng)進(jìn)行通訊。日本仿人機(jī)器人ASIMO的運(yùn)動控制系統(tǒng)采用集中式控制方式,視覺系統(tǒng)通過網(wǎng)絡(luò)與運(yùn)動控制系統(tǒng)通訊。一臺計算機(jī)難以滿足視覺跟蹤的實時性要求,為了實現(xiàn)實時跟蹤,本文提出并實現(xiàn)了一種基于MemoLink通訊的雙計算機(jī)的視覺跟蹤系統(tǒng)。該系統(tǒng)通訊可靠、體積小,便于將兩臺計算機(jī)安置于仿人機(jī)器人的胸腔內(nèi)。

目標(biāo)分割的穩(wěn)定性是機(jī)器人視覺跟蹤系統(tǒng)的重要要求之一,近幾年來很多學(xué)者對這個領(lǐng)域進(jìn)行了研究,大多數(shù)的機(jī)器人目標(biāo)跟蹤系統(tǒng)選用了單一的圖像信息,有的采用了物體的顏色信息,有的采用了物體的輪廓信息。然而在復(fù)雜的非結(jié)構(gòu)化的室內(nèi)背景下,單一的圖像信息不能保證系統(tǒng)穩(wěn)定的分割出目標(biāo)。多種圖像信息的融合是解決目標(biāo)物體識別穩(wěn)定性的方法之一。本文中作者提出了一種集成深度、顏色和形狀信息的逐步逼近目標(biāo)區(qū)域的快速目標(biāo)分割方法

1 系統(tǒng)結(jié)構(gòu)

仿人機(jī)器人BHR1的系統(tǒng)結(jié)構(gòu)如圖1所示,其全身有32個自由度,其中頭部有2個自由度,可以在兩個方向上自由轉(zhuǎn)動,即左右轉(zhuǎn)動和上下轉(zhuǎn)動。面部放置兩只CCD攝像頭作為視覺傳感器模擬人的眼睛。采用SVS立體視覺處理系統(tǒng)處理視覺信息,SVS系統(tǒng)提供了每幀圖像的深度圖像。

圖1 仿人型機(jī)器人(BHR1)跟蹤系統(tǒng)的系統(tǒng)結(jié)構(gòu)

兩臺計算機(jī)置于機(jī)器人的胸腔內(nèi),其中一臺計算機(jī)負(fù)責(zé)視覺信息的處理,另外一臺負(fù)責(zé)機(jī)器人的運(yùn)動控制。前者被稱之為信息處理子系統(tǒng),后者被稱為運(yùn)動控制子系統(tǒng), 兩臺計算機(jī)通過Memolink進(jìn)行通訊。信息處理子系統(tǒng)利用Windows強(qiáng)大的多媒體功能來處理立體視覺信息,實現(xiàn)目標(biāo)的快速分割以及物體的運(yùn)動估計和預(yù)測。運(yùn)動控制子系統(tǒng)以Linux/RT-Linux實時操作系統(tǒng)作為平臺,保證了機(jī)器人控制系統(tǒng)的實時性。除了頭部運(yùn)動關(guān)節(jié),運(yùn)動控制系統(tǒng)負(fù)責(zé)仿人機(jī)器人全部關(guān)節(jié)的控制。Memolink 是系統(tǒng)間進(jìn)行快速通信的一種有效解決方案,是連接信息處理子系統(tǒng)和運(yùn)動控制子系統(tǒng)的橋梁。具有通信速度快和通信前無需握手的優(yōu)點。

整個跟蹤過程執(zhí)行如下的循環(huán):搜索目標(biāo)——發(fā)現(xiàn)目標(biāo)——匹配——狀態(tài)估計和預(yù)測——運(yùn)動控制。不同的匹配方法應(yīng)用產(chǎn)生了不同的跟蹤方法。本文中作者提出了一種融合深度、顏色和形狀信息的逐步逼近目標(biāo)區(qū)域的快速分割方法。在實時的跟蹤系統(tǒng)中,運(yùn)動估計和預(yù)測有效的減少了檢測區(qū)域,提高了系統(tǒng)的跟蹤速度。研究中采用經(jīng)典的卡爾曼濾波器進(jìn)行運(yùn)動目標(biāo)的狀態(tài)估計和預(yù)測。

2 基于多圖像信息的目標(biāo)分割方法

視覺信息處理子系統(tǒng)完成目標(biāo)物體的快速分割,同時估計和預(yù)測目標(biāo)物體的運(yùn)動信息,把目標(biāo)物體的位置信息實時地傳遞給運(yùn)動控制子系統(tǒng)。目標(biāo)識別的穩(wěn)定性對整個跟蹤系統(tǒng)的穩(wěn)定性起著至關(guān)重要的作用。

在復(fù)雜背景的非結(jié)構(gòu)化的室內(nèi)環(huán)境下,用于機(jī)器人視覺跟蹤的圖像信息有:深度、顏色、形狀、邊緣、運(yùn)動等。基于多信息的運(yùn)動目標(biāo)的分割方法中,所選取的信息應(yīng)該具有互補(bǔ)性。物體的顏色是物體最顯著的特征,適合用于目標(biāo)的跟蹤。但是當(dāng)背景中包含同樣顏色的物體時,基于顏色的跟蹤將會失敗。深度信息有助于系統(tǒng)得到粗略的前景區(qū)域,也就是包含運(yùn)動物體的目標(biāo)候選窗口,另外基于深度分割的粗略前景輪廓的獲得計算量小,速度快。基于RHT(Random Hough transform)算法的形狀檢測器可以檢測各種不同的幾何形狀,比如:橢圓形、三角形和多邊形,進(jìn)而把目標(biāo)候選區(qū)域中相同顏色的物體區(qū)別開來。

圖2 視頻序列中運(yùn)動目標(biāo)分割過程

本文利用仿人機(jī)器人的立體視覺系統(tǒng),設(shè)計了融合深度,顏色,形狀信息的逐步逼近目標(biāo)區(qū)域的快速跟蹤方法。圖2為視頻序列中運(yùn)動目標(biāo)的分割過程。首先利用深度信息把機(jī)器人關(guān)心的前景區(qū)域分割出來,得到ROF(Region of Foregroud)區(qū)域,即粗略的目標(biāo)候選區(qū)域。在ROF中使用顏色濾波器分割,得到ROIC(Region of Interest Color)區(qū)域。最后形狀檢測器可以把相同顏色的物體區(qū)別開來。在分割過程中,候選目標(biāo)區(qū)域逐步縮小并逼近目標(biāo)區(qū)域。逐步縮小的候選目標(biāo)區(qū)域減少了計算量,提高了系統(tǒng)的運(yùn)算速度。同時,該方法有效的避免了場景中相同顏色物體的干擾,提高了目標(biāo)分割的穩(wěn)定性。圖3顯示了目標(biāo)物體的分割結(jié)果。

圖3 復(fù)雜場景中目標(biāo)物體的分割結(jié)

3 運(yùn)動控制子系統(tǒng)

3.1運(yùn)動控制系統(tǒng)的結(jié)構(gòu)

機(jī)器人的運(yùn)動控制子系統(tǒng)是一個典型的計算機(jī)控制系統(tǒng)。機(jī)器人頭部的控制目的是為了機(jī)器人的頭部能夠?qū)崟r跟蹤運(yùn)動目標(biāo),因此實際控制信號輸入量是根據(jù)目標(biāo)物體的位置信息求得的規(guī)劃數(shù)據(jù)。在反饋信號的輸入方面,因為被控對象是電機(jī)轉(zhuǎn)動的角度,用電機(jī)上面的軸角編碼器的輸出作為反饋信號。

系統(tǒng)使用了一套多功能接口板,將所有的A/D轉(zhuǎn)換、D/A轉(zhuǎn)換、ENC(encoder)、PWM、IO等多種功能都集成在該接口板上,提高了系統(tǒng)的集成性并減小了系統(tǒng)體積和重量。多功能接口板上上的ENC接口來作為反饋信號的輸入通道,它可以測量軸角編碼器的脈沖輸出個數(shù)。每個運(yùn)動關(guān)節(jié)采用經(jīng)典的PD伺服控制。

3.2運(yùn)動控制系統(tǒng)的軟件結(jié)構(gòu)

運(yùn)動控制子系統(tǒng)采用了RT-Linux(Real Time Linux)實時操作系統(tǒng),其軟件結(jié)構(gòu)如圖4所示,主要包括兩個模塊:主程序模塊、實時任務(wù)模塊,主程序模塊是linux應(yīng)用程序,實時任務(wù)模塊是RTlinux下的實時進(jìn)程。兩個模塊也是兩個進(jìn)程,通過管道(FIFO)進(jìn)行通訊等。

圖4 BHR1運(yùn)動控制系統(tǒng)的軟件結(jié)構(gòu)

實時任務(wù)主模塊包括兩部分:周期性執(zhí)行的實時控制循環(huán)(即實時線程)和實時任務(wù)觸發(fā)器。實時線程的周期性執(zhí)行是由一個循環(huán)實現(xiàn)的。該循環(huán)主要完成兩大功能:機(jī)器人運(yùn)動控制、與各電機(jī)相連的軸角編碼器的信息采集。實時任務(wù)周期為3毫秒。實時任務(wù)周期是根據(jù)D/A通道處理時間和碼盤計數(shù)器讀取時間,以及傳感器信息獲取時間確定。

主程序模塊與一般的Linux應(yīng)用程序沒有區(qū)別,它主要有以下幾個功能:與信息處理系統(tǒng)通訊;向?qū)崟r任務(wù)傳送控制參數(shù);實現(xiàn)人機(jī)交互,即將從實時任務(wù)傳過來的電機(jī)轉(zhuǎn)動數(shù)據(jù)和傳感器數(shù)據(jù)輸出到監(jiān)視器上,同時將通過鍵盤輸入的控制信號,實際上主程序模塊主要實現(xiàn)控制臺的作用,可以稱之為控制臺程序。

3.3運(yùn)動控制過程

跟蹤系統(tǒng)的控制目標(biāo)是:根據(jù)圖像處理獲取的目標(biāo)質(zhì)心在圖像平面中的位置,實時調(diào)整機(jī)器人頭部的2個電機(jī)轉(zhuǎn)動角度,將目標(biāo)置于圖像平面的中央位置。運(yùn)動控制系統(tǒng)中一個控制循環(huán)大約需要3毫秒的時間。在信息處理系統(tǒng)中,處理一幀圖像平均需要100毫秒左右的時間。由此可見,視覺處理的周期要遠(yuǎn)遠(yuǎn)大于運(yùn)動控制的周期。因此在一個視覺處理周期之后,系統(tǒng)應(yīng)該做好下一個視覺處理周期之內(nèi)的運(yùn)動規(guī)劃,也就是做好后面多個控制周期之內(nèi)的運(yùn)動規(guī)劃,這樣才能保證機(jī)器人的頭部以均勻、平緩,同時又是準(zhǔn)確的速度來跟蹤目標(biāo)。

4 實驗

在仿人機(jī)器人BHR1中,信息處理計算機(jī)的CPU為PⅣ2.4GHz,內(nèi)存為512MB,運(yùn)動控制計算機(jī)的CPU為PIII700MHz,內(nèi)存為256MB。SVS系統(tǒng)的采集速度為15幀每秒,采集圖像的大小為320×240像素。Memolink采用PCI接口,最大傳輸速率為1M bytes/s或1M words/s。

4.1 復(fù)雜背景下運(yùn)動目標(biāo)的跟蹤

在運(yùn)動物體跟蹤實驗中,紅色小球作為目標(biāo)在機(jī)器人的視野中做單擺運(yùn)動。為了驗證基于多圖像信息的目標(biāo)識別算法,背景中放置了紅色的方塊和一個綠色的小球。實驗結(jié)果如圖5所示,第一行圖像是實驗場景,第二行圖像是左攝像頭的視頻序列,結(jié)果表明彩色目標(biāo)運(yùn)動速度小于0.3m/s時,機(jī)器人頭部仍可以很好地跟蹤目標(biāo)的運(yùn)動,并使其始終位于左側(cè)攝像機(jī)所采集到圖像的中央位置。在復(fù)雜的非結(jié)構(gòu)環(huán)境的室內(nèi)背景下,利用單一的圖像信息,系統(tǒng)很可能會跟蹤失敗。相同背景下,單一的顏色信息不能將紅色的小球和背景中的紅色方塊區(qū)分開來。

圖5顯示了紅色小球運(yùn)動狀態(tài)時的跟蹤過程,圖中的數(shù)據(jù)為實際數(shù)據(jù)的1/10抽樣。可以看出,在X軸方向上,目標(biāo)質(zhì)心坐標(biāo)到圖像中心的偏差在±30個像素以內(nèi),在y軸方向上,目標(biāo)質(zhì)心坐標(biāo)到圖像中心的偏差在±20個像素內(nèi)。實驗說明在物體的運(yùn)動過程中,跟蹤系統(tǒng)能夠?qū)崟r跟蹤物體并將物體的質(zhì)心保持在左眼攝像機(jī)的中心。

圖5目標(biāo)在X、Y方向上的跟蹤誤差(像素)

5 結(jié)論

本文提出了基于Memolink通訊的雙計算機(jī)的仿人機(jī)器人的視覺跟蹤系統(tǒng),系統(tǒng)能夠滿足仿人機(jī)器人實時視覺跟蹤的性能要求。

在未知的復(fù)雜環(huán)境中,基于深度、顏色和模版匹配的多圖像信息融合方案確保機(jī)器人穩(wěn)定的從視頻序列中分割出運(yùn)動目標(biāo)。

本文作者的創(chuàng)新點:

本文提出并實現(xiàn)了一種基于MemoLink通訊的雙計算機(jī)的視覺跟蹤系統(tǒng), 一臺計算機(jī)負(fù)責(zé)視頻信息的處理,另一臺計算機(jī)負(fù)責(zé)機(jī)器人頭部的運(yùn)動控制,實現(xiàn)了仿人機(jī)器人頭部對運(yùn)動目標(biāo)的實時跟蹤。本文提出了一種集成深度、顏色和形狀信息的逐步逼近目標(biāo)區(qū)域的快速目標(biāo)分割方法,實現(xiàn)了復(fù)雜背景下目標(biāo)物體的穩(wěn)定分割。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人機(jī)交互
    +關(guān)注

    關(guān)注

    12

    文章

    1238

    瀏覽量

    56217
  • 控制系統(tǒng)
    +關(guān)注

    關(guān)注

    41

    文章

    6758

    瀏覽量

    111814
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    213

    文章

    29504

    瀏覽量

    211611
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    機(jī)器人視覺——機(jī)器人的“眼睛”

    的,也是急需的,它是保證機(jī)器人能夠工作于人類生活環(huán)境的重要條件。在工作中圖像采集速度較低,以及圖像處理需要較長時間,給系統(tǒng)帶來明顯的時滯。而機(jī)器視覺產(chǎn)品的引進(jìn),極大的解決了這一題目。
    發(fā)表于 01-23 15:02

    【OK210申請】焊后焊縫跟蹤及應(yīng)力消除機(jī)器人

    的項目有所幫助,而且進(jìn)一步豐富我的知識面,還望對公司能夠批準(zhǔn)!項目描述:本項目對基于視覺的焊后焊縫處理機(jī)器人實現(xiàn)長直焊后焊縫同步提取的問題進(jìn)行研究,運(yùn)用智能控制技術(shù)智能分析系統(tǒng)誤差,采
    發(fā)表于 08-10 22:27

    【mBot申請】基于Nao機(jī)器人視覺跟蹤處理

    申請理由:采用此小型機(jī)器人進(jìn)行一個目標(biāo)模擬項目描述:1、目標(biāo)機(jī)器人的擬定2、Nao機(jī)器人目標(biāo)取樣,并訓(xùn)練3、進(jìn)行實時跟蹤
    發(fā)表于 10-29 14:14

    視覺機(jī)器人的發(fā)展現(xiàn)狀與趨勢

    密切相關(guān)。機(jī)器人的研制、開發(fā)只有從技術(shù)上實現(xiàn)可能性大為原則選擇機(jī)器人優(yōu)先應(yīng)用的領(lǐng)域,并以此為突破口,向其他領(lǐng)域滲透、擴(kuò)散至為重要。隨著工業(yè)4.0時代的到來,機(jī)器
    發(fā)表于 09-08 10:34

    博智慧達(dá)激光焊縫跟蹤器成功與金紅鷹機(jī)器人完成通訊

    相機(jī)和激光焊縫跟蹤傳感器及其控制裝置等。博智慧達(dá)的智能激光焊縫跟蹤系統(tǒng)可以和各種焊接機(jī)器人通訊,從而提高焊接質(zhì)量。焊縫
    發(fā)表于 04-13 10:30

    焊縫跟蹤:自動化機(jī)器人實時焊縫跟蹤尋位

    跟蹤器,可實現(xiàn)機(jī)器人控制系統(tǒng)實時通訊跟蹤焊縫進(jìn)行焊接,為機(jī)
    發(fā)表于 04-19 10:48

    焊縫跟蹤機(jī)器人焊縫跟蹤系統(tǒng)的優(yōu)勢分析

    `焊縫跟蹤機(jī)器人焊縫跟蹤系統(tǒng)的優(yōu)勢分析目前我們的焊縫跟蹤系統(tǒng)已于國內(nèi)外40多種主流
    發(fā)表于 04-29 12:02

    焊縫跟蹤:焊接機(jī)器人配焊縫跟蹤傳感器是科技發(fā)展的必然趨勢

    。焊縫跟蹤系統(tǒng)優(yōu)勢抗弧光和飛濺,實時跟蹤,焊縫寬度自動適應(yīng)非接觸,支持多種焊接類型提高生產(chǎn)效率和焊接質(zhì)量,提高生產(chǎn)率確保焊縫成型美觀牢固;可使焊槍處于理想位置;可實現(xiàn)一致的和可復(fù)現(xiàn)的焊
    發(fā)表于 08-01 13:47

    機(jī)器人通用視覺系統(tǒng)模塊的設(shè)計原理是什么?

    視覺技術(shù)是近幾十年來發(fā)展的一門新興技術(shù)。機(jī)器視覺可以代替人類的視覺從事檢驗、目標(biāo)跟蹤機(jī)器人導(dǎo)向
    發(fā)表于 09-04 08:00

    基于圖像的機(jī)器人視覺伺服系統(tǒng)該怎么設(shè)計?

      制造出像一樣具有智能的能替代人類勞動的機(jī)器人,一直是人類的夢想,人類獲取的信息80%以上是通過視覺。因此,在智能機(jī)器人的研究中,具有視覺
    發(fā)表于 09-27 08:07

    服務(wù)機(jī)器人視覺系統(tǒng)怎么設(shè)計?

    跟蹤等領(lǐng)域。不同種類的機(jī)器人由于工作的重點不一樣,它的視覺系統(tǒng)在軟件或硬件上都有著細(xì)微的差別。本文研究基于服務(wù)機(jī)器人的單目視覺系統(tǒng)。它處理的
    發(fā)表于 04-07 07:27

    拳頭機(jī)器人視覺跟蹤系統(tǒng)介紹

    在物流搬運(yùn)行業(yè),拳頭機(jī)器人由于其獨特的并聯(lián)結(jié)構(gòu),常用于高速整列、裝箱等場合。其中,拳頭機(jī)器人視覺跟蹤技術(shù)正得到廣泛的應(yīng)用,如下圖所示: 
    發(fā)表于 08-06 06:30

    四元數(shù)數(shù)控:工業(yè)機(jī)器人使用機(jī)器視覺系統(tǒng)的原因

    和提高工作效率,就必須引入機(jī)器視覺技術(shù)來實現(xiàn)對目標(biāo)的識別和定位。目前,裝備了機(jī)器視覺系統(tǒng)的工業(yè)機(jī)器人
    發(fā)表于 04-29 09:42

    工業(yè)機(jī)器人視覺實訓(xùn)平臺介紹

    模塊化,便于組合,實現(xiàn)對不同物料進(jìn)行快速的檢測、組裝。為了方便實訓(xùn)教學(xué),系統(tǒng)進(jìn)行了專門的設(shè)計,可以完成各類機(jī)器人單項訓(xùn)練和綜合性項目訓(xùn)練,可完成各類機(jī)器人單項訓(xùn)練和綜合性項目訓(xùn)練。可以
    發(fā)表于 07-01 06:38

    工業(yè)機(jī)器人與智能視覺系統(tǒng)應(yīng)用實訓(xùn)平臺介紹

    ZNAI-1工業(yè)機(jī)器人與智能視覺系統(tǒng)應(yīng)用實訓(xùn)平臺一、產(chǎn)品概述工業(yè)機(jī)器人與智能視覺系統(tǒng)應(yīng)用實訓(xùn)平臺以工業(yè)機(jī)器人
    發(fā)表于 07-01 11:48
    主站蜘蛛池模板: 国产性夜夜性夜夜爽91 | 国产高清成人mv在线观看 | 黄色片不卡 | 三级网站在线免费观看 | 女bbwxxxx非洲黑人 | 色吧首页dvd | 日本黄色网址大全 | 日本一区二区高清免费不卡 | 色综合免费视频 | 视频色www永久免费 视频色版 | 久久婷婷国产一区二区三区 | 午夜精品福利在线观看 | 日本高清不卡视频 | 午夜在线观看完整高清免费 | 日本视频一区在线观看免费 | 精品久久久久久久免费加勒比 | 日本三级带日本三级带黄首页 | 国产精品久久久精品视频 | 欧美色p| 黑人又大又粗又长又深受不了 | 6080yy午夜不卡一二三区 | 色天使在线视频 | 国产裸露片段精华合集链接 | 在线免费黄色 | 国产吧在线视频 | 国产r67194吃奶视频 | 新版天堂中文网 | 亚洲一级毛片在线观播放 | 免费网站色 | 色老久久精品偷偷鲁一区 | 日韩高清成人毛片不卡 | 国产三级精品在线观看 | 在线观看www妖精免费福利视频 | 一卡二卡卡四卡无人区中文 | 欧美色图在线视频 | 国产午夜精品一区二区理论影院 | 天堂网最新版中文 | 日本黄色小说视频 | 91大神亚洲影视在线 | 欧美性猛交xxxx | 九色综合九色综合色鬼 |