在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于Memolink通訊實現機器人視覺跟蹤系統的設計

電子設計 ? 來源:微計算機信息 ? 作者:龐云亭,黃強 ? 2021-04-13 14:18 ? 次閱讀

仿人機器人的頭部視覺跟蹤系統利用視覺信息作為反饋,來規劃機器人的頭部運動使其能實時的跟蹤運動目標。視覺跟蹤是仿人機器人的重要功能之一,它的研究對于仿人機器人的自主導航、人機交互以及視覺伺服都具有極其重要的意義。

視覺跟蹤的實時性是仿人機器人的重要性能要求之一。針對這一系統要求,近年來有很多學者設計出了多種系統結構。文中作者設計了一種基于CAN總線的分布式的仿人機器人的控制系統,其中的視覺系統通過無線局域網與控制系統進行通訊。日本仿人機器人ASIMO的運動控制系統采用集中式控制方式,視覺系統通過網絡與運動控制系統通訊。一臺計算機難以滿足視覺跟蹤的實時性要求,為了實現實時跟蹤,本文提出并實現了一種基于MemoLink通訊的雙計算機的視覺跟蹤系統。該系統通訊可靠、體積小,便于將兩臺計算機安置于仿人機器人的胸腔內。

目標分割的穩定性是機器人視覺跟蹤系統的重要要求之一,近幾年來很多學者對這個領域進行了研究,大多數的機器人目標跟蹤系統選用了單一的圖像信息,有的采用了物體的顏色信息,有的采用了物體的輪廓信息。然而在復雜的非結構化的室內背景下,單一的圖像信息不能保證系統穩定的分割出目標。多種圖像信息的融合是解決目標物體識別穩定性的方法之一。本文中作者提出了一種集成深度、顏色和形狀信息的逐步逼近目標區域的快速目標分割方法

1 系統結構

仿人機器人BHR1的系統結構如圖1所示,其全身有32個自由度,其中頭部有2個自由度,可以在兩個方向上自由轉動,即左右轉動和上下轉動。面部放置兩只CCD攝像頭作為視覺傳感器模擬人的眼睛。采用SVS立體視覺處理系統處理視覺信息,SVS系統提供了每幀圖像的深度圖像。

圖1 仿人型機器人(BHR1)跟蹤系統的系統結構

兩臺計算機置于機器人的胸腔內,其中一臺計算機負責視覺信息的處理,另外一臺負責機器人的運動控制。前者被稱之為信息處理子系統,后者被稱為運動控制子系統, 兩臺計算機通過Memolink進行通訊。信息處理子系統利用Windows強大的多媒體功能來處理立體視覺信息,實現目標的快速分割以及物體的運動估計和預測。運動控制子系統以Linux/RT-Linux實時操作系統作為平臺,保證了機器人控制系統的實時性。除了頭部運動關節,運動控制系統負責仿人機器人全部關節的控制。Memolink 是系統間進行快速通信的一種有效解決方案,是連接信息處理子系統和運動控制子系統的橋梁。具有通信速度快和通信前無需握手的優點。

整個跟蹤過程執行如下的循環:搜索目標——發現目標——匹配——狀態估計和預測——運動控制。不同的匹配方法應用產生了不同的跟蹤方法。本文中作者提出了一種融合深度、顏色和形狀信息的逐步逼近目標區域的快速分割方法。在實時的跟蹤系統中,運動估計和預測有效的減少了檢測區域,提高了系統的跟蹤速度。研究中采用經典的卡爾曼濾波器進行運動目標的狀態估計和預測。

2 基于多圖像信息的目標分割方法

視覺信息處理子系統完成目標物體的快速分割,同時估計和預測目標物體的運動信息,把目標物體的位置信息實時地傳遞給運動控制子系統。目標識別的穩定性對整個跟蹤系統的穩定性起著至關重要的作用。

在復雜背景的非結構化的室內環境下,用于機器人視覺跟蹤的圖像信息有:深度、顏色、形狀、邊緣、運動等。基于多信息的運動目標的分割方法中,所選取的信息應該具有互補性。物體的顏色是物體最顯著的特征,適合用于目標的跟蹤。但是當背景中包含同樣顏色的物體時,基于顏色的跟蹤將會失敗。深度信息有助于系統得到粗略的前景區域,也就是包含運動物體的目標候選窗口,另外基于深度分割的粗略前景輪廓的獲得計算量小,速度快。基于RHT(Random Hough transform)算法的形狀檢測器可以檢測各種不同的幾何形狀,比如:橢圓形、三角形和多邊形,進而把目標候選區域中相同顏色的物體區別開來。

圖2 視頻序列中運動目標分割過程

本文利用仿人機器人的立體視覺系統,設計了融合深度,顏色,形狀信息的逐步逼近目標區域的快速跟蹤方法。圖2為視頻序列中運動目標的分割過程。首先利用深度信息把機器人關心的前景區域分割出來,得到ROF(Region of Foregroud)區域,即粗略的目標候選區域。在ROF中使用顏色濾波器分割,得到ROIC(Region of Interest Color)區域。最后形狀檢測器可以把相同顏色的物體區別開來。在分割過程中,候選目標區域逐步縮小并逼近目標區域。逐步縮小的候選目標區域減少了計算量,提高了系統的運算速度。同時,該方法有效的避免了場景中相同顏色物體的干擾,提高了目標分割的穩定性。圖3顯示了目標物體的分割結果。

圖3 復雜場景中目標物體的分割結

3 運動控制子系統

3.1運動控制系統的結構

機器人的運動控制子系統是一個典型的計算機控制系統。機器人頭部的控制目的是為了機器人的頭部能夠實時跟蹤運動目標,因此實際控制信號輸入量是根據目標物體的位置信息求得的規劃數據。在反饋信號的輸入方面,因為被控對象是電機轉動的角度,用電機上面的軸角編碼器的輸出作為反饋信號。

系統使用了一套多功能接口板,將所有的A/D轉換、D/A轉換、ENC(encoder)、PWM、IO等多種功能都集成在該接口板上,提高了系統的集成性并減小了系統體積和重量。多功能接口板上上的ENC接口來作為反饋信號的輸入通道,它可以測量軸角編碼器的脈沖輸出個數。每個運動關節采用經典的PD伺服控制。

3.2運動控制系統的軟件結構

運動控制子系統采用了RT-Linux(Real Time Linux)實時操作系統,其軟件結構如圖4所示,主要包括兩個模塊:主程序模塊、實時任務模塊,主程序模塊是linux應用程序,實時任務模塊是RTlinux下的實時進程。兩個模塊也是兩個進程,通過管道(FIFO)進行通訊等。

圖4 BHR1運動控制系統的軟件結構

實時任務主模塊包括兩部分:周期性執行的實時控制循環(即實時線程)和實時任務觸發器。實時線程的周期性執行是由一個循環實現的。該循環主要完成兩大功能:機器人運動控制、與各電機相連的軸角編碼器的信息采集。實時任務周期為3毫秒。實時任務周期是根據D/A通道處理時間和碼盤計數器讀取時間,以及傳感器信息獲取時間確定。

主程序模塊與一般的Linux應用程序沒有區別,它主要有以下幾個功能:與信息處理系統通訊;向實時任務傳送控制參數;實現人機交互,即將從實時任務傳過來的電機轉動數據和傳感器數據輸出到監視器上,同時將通過鍵盤輸入的控制信號,實際上主程序模塊主要實現控制臺的作用,可以稱之為控制臺程序。

3.3運動控制過程

跟蹤系統的控制目標是:根據圖像處理獲取的目標質心在圖像平面中的位置,實時調整機器人頭部的2個電機轉動角度,將目標置于圖像平面的中央位置。運動控制系統中一個控制循環大約需要3毫秒的時間。在信息處理系統中,處理一幀圖像平均需要100毫秒左右的時間。由此可見,視覺處理的周期要遠遠大于運動控制的周期。因此在一個視覺處理周期之后,系統應該做好下一個視覺處理周期之內的運動規劃,也就是做好后面多個控制周期之內的運動規劃,這樣才能保證機器人的頭部以均勻、平緩,同時又是準確的速度來跟蹤目標。

4 實驗

在仿人機器人BHR1中,信息處理計算機的CPU為PⅣ2.4GHz,內存為512MB,運動控制計算機的CPU為PIII700MHz,內存為256MB。SVS系統的采集速度為15幀每秒,采集圖像的大小為320×240像素。Memolink采用PCI接口,最大傳輸速率為1M bytes/s或1M words/s。

4.1 復雜背景下運動目標的跟蹤

在運動物體跟蹤實驗中,紅色小球作為目標在機器人的視野中做單擺運動。為了驗證基于多圖像信息的目標識別算法,背景中放置了紅色的方塊和一個綠色的小球。實驗結果如圖5所示,第一行圖像是實驗場景,第二行圖像是左攝像頭的視頻序列,結果表明彩色目標運動速度小于0.3m/s時,機器人頭部仍可以很好地跟蹤目標的運動,并使其始終位于左側攝像機所采集到圖像的中央位置。在復雜的非結構環境的室內背景下,利用單一的圖像信息,系統很可能會跟蹤失敗。相同背景下,單一的顏色信息不能將紅色的小球和背景中的紅色方塊區分開來。

圖5顯示了紅色小球運動狀態時的跟蹤過程,圖中的數據為實際數據的1/10抽樣。可以看出,在X軸方向上,目標質心坐標到圖像中心的偏差在±30個像素以內,在y軸方向上,目標質心坐標到圖像中心的偏差在±20個像素內。實驗說明在物體的運動過程中,跟蹤系統能夠實時跟蹤物體并將物體的質心保持在左眼攝像機的中心。

圖5目標在X、Y方向上的跟蹤誤差(像素)

5 結論

本文提出了基于Memolink通訊的雙計算機的仿人機器人的視覺跟蹤系統,系統能夠滿足仿人機器人實時視覺跟蹤的性能要求。

在未知的復雜環境中,基于深度、顏色和模版匹配的多圖像信息融合方案確保機器人穩定的從視頻序列中分割出運動目標。

本文作者的創新點:

本文提出并實現了一種基于MemoLink通訊的雙計算機的視覺跟蹤系統, 一臺計算機負責視頻信息的處理,另一臺計算機負責機器人頭部的運動控制,實現了仿人機器人頭部對運動目標的實時跟蹤。本文提出了一種集成深度、顏色和形狀信息的逐步逼近目標區域的快速目標分割方法,實現了復雜背景下目標物體的穩定分割。

責任編輯:gt

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人機交互
    +關注

    關注

    12

    文章

    1238

    瀏覽量

    56215
  • 控制系統
    +關注

    關注

    41

    文章

    6758

    瀏覽量

    111807
  • 機器人
    +關注

    關注

    213

    文章

    29503

    瀏覽量

    211595
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    機器人視覺——機器人的“眼睛”

    的,也是急需的,它是保證機器人能夠工作于人類生活環境的重要條件。在工作中圖像采集速度較低,以及圖像處理需要較長時間,給系統帶來明顯的時滯。而機器視覺產品的引進,極大的解決了這一題目。
    發表于 01-23 15:02

    【OK210申請】焊后焊縫跟蹤及應力消除機器人

    的項目有所幫助,而且進一步豐富我的知識面,還望對公司能夠批準!項目描述:本項目對基于視覺的焊后焊縫處理機器人實現長直焊后焊縫同步提取的問題進行研究,運用智能控制技術智能分析系統誤差,采
    發表于 08-10 22:27

    【mBot申請】基于Nao機器人視覺跟蹤處理

    申請理由:采用此小型機器人進行一個目標模擬項目描述:1、目標機器人的擬定2、Nao機器人目標取樣,并訓練3、進行實時跟蹤
    發表于 10-29 14:14

    視覺機器人的發展現狀與趨勢

    密切相關。機器人的研制、開發只有從技術上實現可能性大為原則選擇機器人優先應用的領域,并以此為突破口,向其他領域滲透、擴散至為重要。隨著工業4.0時代的到來,機器
    發表于 09-08 10:34

    博智慧達激光焊縫跟蹤器成功與金紅鷹機器人完成通訊

    相機和激光焊縫跟蹤傳感器及其控制裝置等。博智慧達的智能激光焊縫跟蹤系統可以和各種焊接機器人通訊,從而提高焊接質量。焊縫
    發表于 04-13 10:30

    焊縫跟蹤:自動化機器人實時焊縫跟蹤尋位

    跟蹤器,可實現機器人控制系統實時通訊跟蹤焊縫進行焊接,為
    發表于 04-19 10:48

    焊縫跟蹤機器人焊縫跟蹤系統的優勢分析

    `焊縫跟蹤機器人焊縫跟蹤系統的優勢分析目前我們的焊縫跟蹤系統已于國內外40多種主流
    發表于 04-29 12:02

    焊縫跟蹤:焊接機器人配焊縫跟蹤傳感器是科技發展的必然趨勢

    。焊縫跟蹤系統優勢抗弧光和飛濺,實時跟蹤,焊縫寬度自動適應非接觸,支持多種焊接類型提高生產效率和焊接質量,提高生產率確保焊縫成型美觀牢固;可使焊槍處于理想位置;可實現一致的和可復現的焊
    發表于 08-01 13:47

    機器人通用視覺系統模塊的設計原理是什么?

    視覺技術是近幾十年來發展的一門新興技術。機器視覺可以代替人類的視覺從事檢驗、目標跟蹤機器人導向
    發表于 09-04 08:00

    基于圖像的機器人視覺伺服系統該怎么設計?

      制造出像一樣具有智能的能替代人類勞動的機器人,一直是人類的夢想,人類獲取的信息80%以上是通過視覺。因此,在智能機器人的研究中,具有視覺
    發表于 09-27 08:07

    服務機器人視覺系統怎么設計?

    跟蹤等領域。不同種類的機器人由于工作的重點不一樣,它的視覺系統在軟件或硬件上都有著細微的差別。本文研究基于服務機器人的單目視覺系統。它處理的
    發表于 04-07 07:27

    拳頭機器人視覺跟蹤系統介紹

    在物流搬運行業,拳頭機器人由于其獨特的并聯結構,常用于高速整列、裝箱等場合。其中,拳頭機器人視覺跟蹤技術正得到廣泛的應用,如下圖所示: 
    發表于 08-06 06:30

    四元數數控:工業機器人使用機器視覺系統的原因

    和提高工作效率,就必須引入機器視覺技術來實現對目標的識別和定位。目前,裝備了機器視覺系統的工業機器人
    發表于 04-29 09:42

    工業機器人視覺實訓平臺介紹

    模塊化,便于組合,實現對不同物料進行快速的檢測、組裝。為了方便實訓教學,系統進行了專門的設計,可以完成各類機器人單項訓練和綜合性項目訓練,可完成各類機器人單項訓練和綜合性項目訓練。可以
    發表于 07-01 06:38

    工業機器人與智能視覺系統應用實訓平臺介紹

    ZNAI-1工業機器人與智能視覺系統應用實訓平臺一、產品概述工業機器人與智能視覺系統應用實訓平臺以工業機器人
    發表于 07-01 11:48
    主站蜘蛛池模板: 6月婷婷| 看免费黄色大片 | 羞羞色男人的天堂伊人久久 | 天天爽天天爽 | 国产美女亚洲精品久久久久久 | 日本大片免费一级 | 亚洲视频色 | 35pao强力| 日本最顶级丰满的aⅴ艳星 日本最好的免费影院 | 国产主播精品在线 | 狠狠色丁香久久综合婷婷 | 天天干夜干| 日本不卡视频在线视频观看 | 久热国产在线 | 黄视频网站免费 | 18女人毛片水真多免费 | 爽爽爽爽爽爽a成人免费视频 | 99热在线获取最新地址 | 国产大片免费观看中文字幕 | 波多野结衣在线观看一区二区三区 | 国产免费卡1卡2卡 | 色黄在线观看 | 综合色99 | 欧美丝袜一区 | 精品三级网站 | 午夜韩国理论片在线播放 | 久久精品亚洲精品国产欧美 | 天使色吧 | h在线观看视频免费网站 | 综合色爱 | 色多多高清在线观看视频www | 夜夜精品视频一区二区 | 激情五月激情综合色区 | 伊人网视频在线 | 天天做天天爰夜夜爽 | 黄色a三级免费看 | 国产精品女人在线观看 | 成人午夜免费视频毛片 | 国产亚洲欧美一区二区 | 韩国r天堂 | 国产特黄1级毛片 |