一、項目介紹:
本項目致力于打造一款智能網球撿發服務型機器人,幫助提升網球場上的撿球效率,讓運動員專注訓練的同時,減少人工成本。機器人將具備自主撿球、精準發球和智能定位等核心功能,讓撿球變得更高效、更聰明!——蘭州交通大學-無盡妙想云團隊
二、研究重點:
聰明規劃,精準定位
我們采用麻雀算法優化柵格地圖,讓機器人能以最短路徑迅速穿梭球場,靈活避開障礙物,提高撿球效率。同時,結合AMCL(自適應蒙特卡洛定位)算法,減少因定位誤差導致的地圖失真風險。為了讓機器人在完全未知的環境中也能游刃有余,我們研究SLAM算法,使其在移動過程中實時構建地圖并精準定位自身位置,讓“迷路”成為過去式!
撿球快、準、穩,發球一氣呵成
依托國產軟硬件平臺,我們將主流目標檢測算法與ROS機器人操作系統結合,實現撿球與發球一體化智能運作。在機械結構方面,采用創新型收球框+絲桿傳輸系統,確保網球被精準收集后,順暢地輸送至螺旋上升裝置。這套巧妙的設計讓機器人邊移動邊高效撿球,無需停頓,實時鎖定目標,確保每一次撿球又快又準!
打造智能模型,自動駕駛演示
組裝全新智能網球機器人,并搭載自動駕駛功能,讓它真正“活”起來!我們將對機器人進行動態演示,全面測試其在球場上的智能表現,確保它能夠穩健執行撿球與發球任務。
升級輪式運動控制,讓機器人更聰明
傳統PID控制算法已經過時?沒關系,我們來優化!采用分層控制策略,在縱向控制中加入RBF神經網絡,賦予機器人自學習能力,讓它能自主優化運動軌跡,提高控制精度。同時,搭配OpenMV攝像頭實時監測路況,編碼器電機精準測速,超聲波雷達反饋周圍距離信息,讓機器人在復雜環境中依然能夠靈活穿梭,穩定撿球!


三、特色與創新
3.1.1機器視覺與自主巡航:精準鎖定網球
本項目聚焦機器視覺與自主巡航技術的融合,賦予機器人精準的網球定位能力,讓它不僅能“看見”網球,還能聰明地追蹤并拾取。
如何做到精準定位?
慧眼識球 ——機器人搭載訓練好的視覺模型,利用**卷積神經網絡(CNN)**等算法,精準識別網球的形狀、顏色和位置,確保不會錯過任何一個球!
實時追蹤 ——機器視覺系統能夠持續鎖定網球軌跡,分析其位置、速度和加速度,提前預測球的落點,讓機器人行動更快、更精準。
深度學習賦能 ——結合深度學習技術,機器人能更聰明地理解球的運動模式,提高識別穩定性,面對復雜環境也能游刃有余。
自主巡航 ——機器人根據視覺信息和傳感器數據,自主規劃路徑,靈活避障,始終保持在最佳位置,確保高效撿球。
智能反饋控制 ——機器人通過持續獲取視覺反饋,動態調整自身位置與移動策略,做到精準鎖定、快速響應。


3.1.2輪式機器人運動控制:多傳感器融合,精準操控
輪式機器人在復雜環境中運動,受非線性和時變因素影響,單靠單一傳感器難以精準掌控。為此,我們采用多傳感器融合技術,讓機器人具備更強的環境感知與決策能力。
通過整合多種傳感器數據,機器人能全方位感知周圍環境,實時監測自身狀態,確保運動控制既精準又穩定,讓它在球場上行動自如,靈活應對各種挑戰!
3.1.3 3D打印賦能:快速打造智能機器人
本項目使用SolidWorks建模,自主設計輪式機器人遙控器外殼、車身結構及螺旋柱框架,并借助3D打印技術將設計變為現實。
結合鋁型材、中空鋼管等金屬材料,完成機器人框架、螺旋柱和物料盤的組裝。3D打印不僅滿足復雜形態與尺寸定制需求,還大幅提升制造精度與效率,讓機器人更輕盈、更堅固、更智能!
3.1.4融合PCB制版技術助力實物制造
本項目對輪式機器人遙控器的PCB電路部分進行了自主設計和制版,并進行了樣板打樣。這種集成PCB技術的遙控器具有多項優勢:
電氣性能優化: 自主設計的PCB確保了電路布局精確,消除了電氣干擾,提高了遙控器的可靠性和安全性。
集成度提升: 集成度高,減少了外部組件,優化了體積和重量,使遙控器更加緊湊、輕便,便于攜帶和操作。
易用性: 自主設計無需額外學習,降低了用戶的使用門檻,提升了易用性。
該遙控器的設計不僅在輪式機器人控制中取得成功,也為其他機器人控制領域提供了借鑒,預計隨著技術的進步,能夠在更廣泛的領域得到推廣應用。
3.1.5雙模式控制適應復雜環境
- 自動模式: 機器人采用全局遍歷算法,通過攝像頭和超聲波傳感器信息,避開障礙物(如運動員和防護網),確保正常訓練,并通過算法遍歷場地,完成網球的收集。
- 手動模式: 通過遙控器控制機器人行進,適用于復雜區域或突發情況,采用NRF模塊和Barsa板,以確保在干擾較大時機器人能夠正常工作。
3.2創新點
3.2.1依托人工智能算法,實現自動巡回功能
采用人工智能算法優化機器人行為,分析周圍環境數據,自主構建策略庫,選擇最佳路徑,避免繞行,提高工作效率。同時,機器人綜合考慮任務優先級和能源消耗,減少人工干預,降低巡回成本。
3.2.2激光雷達自主巡航技術提升安全性與穩定性
引入激光雷達傳感器實現自動避障,實時監測環境,確保機器人在復雜環境中安全穩定運行。機器人能夠根據環境變化自動調整,避開障礙物并繼續工作,提高了安全性和穩定性。
3.2.3采用絲桿與彈力框網球拾取方式
相比傳統的機械臂拾取方式,本項目采用絲桿與彈力框技術,降低了維護成本,并提高了拾球效率。絲桿技術減少機械部件的損耗,彈力框使機器人能靈活移動,適應不同的任務環境,適合預算有限的用戶。
3.2.4電動摩擦輪發球技術:精準高效,穩定發射
本項目采用雙伺服電機驅動的旋轉摩擦輪,打造高效穩定的網球發射系統。
當網球進入高速旋轉的摩擦輪之間,會受到擠壓與摩擦力的雙重作用,被迅速加速并精準發射。該設計不僅結構簡單可靠,還能精準控制發球頻率與速度,確保網球發射的穩定性,為訓練者提供多樣化、可調節的發球模式,助力高效訓練!

3.2.5雷達三維建圖:精準感知,智能導航
本項目采用3D激光雷達進行數據采集,通過特征點掃描匹配與非線性優化精確估算機器人運動狀態。
激光里程計的輸出數據與地圖實時匹配,包括直線匹配與平面匹配,確保機器人精準定位,無需額外回環檢測,助力高效智能導航!
激光三維雷達建圖:精準感知,全景探索
1??傳感器布置:合理安裝3D激光雷達,確保從多個角度全方位掃描環境,采集高精度數據。
2??數據采集:啟動雷達,獲取目標區域的三維點云數據,記錄環境中每個點的精確位置。
3??數據預處理:對點云數據進行清理和優化,提取關鍵特征,如障礙物、建筑物等,確保信息清晰。
4??建圖算法:利用SLAM技術,將傳感器數據轉化為高精度環境地圖,同時實現機器人精準定位。
5??地圖優化與應用:優化地圖精度,存儲數據,并用于導航、路徑規劃、環境監測等智能任務,讓機器人行動更高效!

四、功能設計
4.1網球識別:YOLOv5讓捕捉高速網球更精準
利用YOLOv5進行網球識別,是深度學習與計算機視覺的強強結合,能夠精準鎖定網球位置,即便是高速飛行的球也能輕松捕捉。整個流程涵蓋數據準備、環境配置、模型訓練、優化調整及效果評估,確保識別高效、精準。
?數據準備:多樣化的數據集是訓練高性能模型的關鍵。涵蓋不同運動場景、光照條件、軌跡變化的數據,能讓模型適應各種復雜情況,提升泛化能力。
?環境配置:選用合適的硬件設備、深度學習框架及優化工具,確保訓練過程高效流暢,發揮最大計算性能。
?模型訓練:通過調整超參數、優化損失函數、數據增強等手段,使模型深度學習網球特征,提升識別精度。
?優化與評估:不斷調整網絡結構、優化超參數、測試多種數據集,確保識別的準確性和穩定性,優化實際應用效果。
YOLOv5以高幀率處理能力見長,能精準適應多場景需求,為體育賽事、智能訓練等提供強大的技術支撐,讓網球識別更加智能高效

4.2雙控制模式
雙控制模式包括自動模式和手動模式,讓機器人既能自動執行任務,也能在需要時由人工控制。
- 自動模式:機器人使用全局遍歷算法自動掃場,通過攝像頭和超聲波傳感器獲取場地信息,避開運動員和障礙物,確保不干擾訓練,且能覆蓋整個網球場,保證網球的完全收集。
- 手動模式:使用遙控器控制機器人,在復雜區域或遇到意外時進行干預調整。控制器通過NRF模塊和Barsa板,提高在干擾環境中的穩定性和靈活性。
4.3多模式發球
該發球模塊支持上旋、下旋、側旋等多種發球方式,并可調節摩擦輪速度和速度差,以改變球的弧線和頻率,實現可控的發球落點和個性化發球。
通過壓電加速度傳感器,系統獲取并處理網球的落點信號,確保準確性并實現定點發球。此設計讓球員能精確控制發球的旋轉和落點,提高訓練與比賽中的技術水平與戰術應變能力。
4.3.1定點順序發球
球員可從28個發球定位點中選擇,并按順序安排這些點,使發球模塊依次執行。此系統增強了發球的靈活性和戰術性,為訓練和比賽增添變化與挑戰,有助于提升球員的技術和應變能力。

4.3.2定點隨機發球
用戶可以從28個發球點中選擇目標,并讓系統隨機選擇發球點位進行發球。此系統模擬比賽中的多變發球場景,幫助球員提升應對不同發球方向和旋轉的能力。通過隨機發球,訓練更加多樣化和有趣,促進發球技術和應變能力的提高。
此外,教練可以根據球員需求設置不同的隨機發球方案,提升訓練效果,幫助球員更好地適應比賽中的挑戰,并激發他們的學習動力。

4.3.3自定義發球
這款智能發球機支持手機端調節發球的力度、弧度、轉速和頻率等參數。用戶通過手機輕松控制,無需專業調試,節省時間和人力。手機端控制不僅提高了操作便利性,還能根據個人需求快速調整發球設置,提升訓練和比賽準備效率。此創新的智能控制方式使訓練更加個性化,增強了用戶體驗并提供了更多訓練選擇。
4.3.4 PCB制版技術
本團隊設計并制作了輪式機器人遙控器的PCB電路,顯著提高了電路的穩定性、安全性和集成度。自制的電路使遙控器更小巧、易于維護,并優化了能效管理。這提升了產品的可靠性和用戶體驗,減少了學習電路知識的需求,為用戶提供了更高效、更穩定的操作體驗。
4.3.5半場裁判車
功能:
監督比賽: 負責確保比賽有序進行,運動員遵守規則和裁判判決。
裁決比賽局: 負責判斷球員動作,如球是否出界或犯規等。
記錄比分: 記錄每一局的比分,確保準確性。
做法:
就位: 裁判車通常位于底線附近,方便觀察球員動作和球的落點。
觀察球: 觀察球員擊球和球的落點,確保做出準確判決。
發出判決: 判斷球是否出界、打中網等,做出相應裁決。
標記得分: 報出分數并記錄。
處理申訴: 如果球員有異議,裁判車會向上級裁判報告并處理。
半場裁判車通過準確裁決和記錄,為比賽提供公平、公正的環境。

五、系統實現
5.1系統總架構
本系統采用本地開發與云端監控結合的軟硬件集成方案。感知層使用地平線攝像頭模組、超聲波雷達和三維雷達建圖模組,實現自動駕駛和網球掉落監測,確保迅速撿起網球。控制層采用RDK X3主控,處理采集到的數據。該方案提升了系統智能化水平,增強了自動駕駛精度和可靠性,確保高效、安全的網球撿拾操作。
5.2軟件開發應用
5.2.1掉落網球識別模型
為解決網球在不同光照下的顏色變化問題,本項目采用OpenCV中的HSV顏色空間進行圖像處理。由于網球在BGR顏色空間下顏色不均,難以準確分割,HSV顏色空間提供了更好的解決方案。HSV使用三個參數表示顏色:
色調(Hue):表示顏色的種類,用角度度量,范圍為0°到360°。在OpenCV中,范圍為0至180,0°為紅色,120°為綠色,240°為藍色。
飽和度(Saturation):表示顏色接近光譜色的程度,范圍為0至255。值越大,顏色越飽和,越接近原色;值越小,顏色越接近白色。
明度(Value):表示顏色的亮度,范圍從0(黑色)到255(白色)。值越大,顏色越明亮。
在HSV顏色空間中,網球的色調集中在某個狹窄的區間。通過保留這一色調區間,并調整飽和度和明度,能夠從圖像中準確提取出網球。通過這種方法,可以有效應對光照變化,提升網球識別的準確性。
5.2.2輪式機器人的姿態控制

在姿態控制中,粒子群算法(PSO)與Simulink模型之間的連接通過粒子(PID控制器的參數)和對應的適應值(控制系統的性能指標)來實現。優化過程如下:
PSO生成粒子群,粒子可以是初始化的或更新后的。
將每個粒子的參數(Kp、Ki、Kd)傳遞給PID控制器。
使用Simulink模型運行控制器,得到對應的性能指標。
該性能指標反饋到PSO,作為粒子的適應值。
判斷是否滿足退出條件,若滿足,則結束優化。
這一過程通過不斷優化PID控制器的參數,提升輪式機器人的姿態控制性能。



粒子群算法中速度和位置是根據下面兩個公式進行更新

其中,x表示粒子的位置;v表示粒子的速度;ω為慣性因子;c1、c2為加速度常數;r1、r2為[0,1]區間的隨機數;Pt是粒子迄今為止搜索到的最優為止;Gt是整個粒子群迄今為止搜索到的最優為止。
PSO的流程如下:
1.初始化粒子群,隨機產生所有粒子的位置和速度,并確定粒子的Pt和Gt。
2.對每個粒子,將其適應值與該粒子所經歷過的最優位置Pt的適應值進行比較,若較好,則將其作為當前的Pt。
3.對每個粒子,將其適應值與整個粒子群所經歷過的最優位置Gt的適應值進行比較,若較好,則將其作為當前的Gt。
4.按照上面的公式進行速度和位置的更新。
5.如果沒有滿足終止條件(通常為預設的最大迭代次數和適應值下限值),則返回步驟2;否則,推出算法,得到最優解。
由公式可知:通過姿態和速度傳感器測量到實時數據后,通過當前測量數據和上一次測量數據計算出誤差,給定一定大小KP(比例),KI(積分),KD(微分)三個影響因子的值,引入速度環和位置環,利用串級PID實時調整車輛姿態,使車輛在一定空間內趨于相對平穩的狀態。


舉例說明:在自動駕駛中引入PID的好處在于,使用常規開環手段控制機器人時,當檢測到網球前方有障礙物機器人要進行轉向時,會由于速度,障礙物距離等因素發生轉向過沖現象,往往發生這種現象的結果是致命的,極有可能影響其他運動員的活動,引發事故。引入PID閉環控制后,在發生此類現象后,KD因子發揮作用,抑制過沖現象,并在縱向層面配合RBF神經網絡瞬時降低車速和規劃路徑,從而避免危險發生。代碼如下:
- import time
- classPIDController:
- definit(self, Kp, Ki, Kd, setpoint):
- self.Kp = Kp
- self.Ki = Ki
- self.Kd = Kd
- self.setpoint = setpoint
- self.error =0
- self.integral =0
- self.derivative =0
- self.last_error =0
- defupdate(self, feedback_value):
- self.error =self.setpoint - feedback_value
- self.integral +=self.error
- self.derivative =self.error -self.last_error
- self.last_error =self.error
- return (self.Kp *self.error) + (self.Ki *self.integral) + (self.Kd *self.derivative)
- defget_current_attitude():
- #獲取傳感器數據
- #實際應用中,這里應返回傳感器測量的姿態值
- #例如,可以通過陀螺儀或加速度計獲取姿態角度
- return0 #示例:假設初始姿態為0度
- defapply_control_to_robot(control):
- #將控制量應用到機器人
- #實際應用中,這里應設置電機的轉速或功率
- print(f"Applying control: {control}")
- #示例:可以將控制量轉換為電機控制信號
- #初始化PID控制器
- pid = PIDController(Kp=0.1, Ki=0.01, Kd=0.05, setpoint=90) #設置PID參數和期望姿態
- #主控制循環
- whileTrue:
- #從傳感器中獲取當前姿態
- feedback_value = get_current_attitude()
- #使用PID計算控制量
- control = pid.update(feedback_value)
- #應用控制量到機器人
- apply_control_to_robot(control)
- #延時一段時間(例如10毫秒),以模擬控制周期
- time.sleep(0.01)
5.2.3輪式機器人的路徑控制
在路徑規劃方面,本項目采用蜘蛛蜂優化算法(SWO)來實現機器人在復雜路況下的最優行進路線。該算法模擬蜘蛛和蜂的行為,通過蜘蛛的網和蜜蜂的飛行路徑進行優化搜索,已廣泛應用于多個領域。
在網球場這種復雜環境中,傳統路徑規劃算法難以找到最優解,因為復雜的障礙和大規模的搜索空間容易導致局部最優解。SWO算法通過模擬蜘蛛和蜜蜂的行為,能夠更高效地探索搜索空間,快速找到全局最優解。
SWO算法的基本步驟如下:
- 初始化種群:隨機生成機器人的初始位置和速度。
- 評估適應度:計算機器人的適應度值,即路徑規劃的目標函數值。
- 更新位置和速度:根據蜘蛛和蜜蜂的行為策略更新機器人的位置和速度。
- 蜘蛛行為:局部和全局搜索策略更新位置。
- 黃蜂行為:通過隨機和精英搜索策略進一步更新位置。
- 評估適應度:重新計算每個機器人位置和速度的適應度值。
- 更新最優解:更新全局最優解和個體最優解。
- 終止條件:達到預設的迭代次數或停止準則時終止算法,輸出最優解。
這種算法相較于遺傳算法和粒子群算法,具有更強的全局搜索能力和更快的優化速度,能有效提升機器人在復雜環境下的路徑規劃效率。
5.2.4定位系統
輪式機器人通過定位模塊ATGM332DR準確獲得自己當前的位置,上位機將目標坐標通過數傳模塊發送給云平臺,再由云平臺將各類信息下發至APP或PC端。
- 定位模塊
ATGM332DR是雙模混合定位模塊,可以實現GPS定位和北斗定位。其定位精度強,準度高,可以實現分米級的定位。
(2)數傳模塊
數傳模塊ATK-LORA-01是LORA無線串口模塊,基于擴頻技術的超遠距離無線傳輸方案,具有傳輸距離遠,工作功耗低等特點,其優勢如下:
支持定點發射,支持省電模式,支持廣播和監聽功能,支持6級可調空中速率,支持AT指令控制,配置靈活。
5.3硬件應用
主控采用RDK X3,搭載MPU6050陀螺儀、HC-SR04超聲波模塊等外設,實現對掉落網球的檢測、記錄反饋以及復雜路段的自由運動。
遙控器主控使用ESP32模組,MPU6050進行動作識別,搖桿電位器控制小車姿態,OLED顯示運行參數。遙控器主要由以下部分組成:
- 外殼:保護內部電路和元件。
- 按鍵/按鈕:控制設備功能,如開關、方向等。
- 顯示屏:顯示設備狀態、菜單選項等信息。
- 指示燈:顯示電源、連接狀態等。
- 電池倉:用于電池供電,方便更換。
- 無線通信模塊:通過射頻等技術與設備進行通信。
- 電子電路板:連接按鍵、無線模塊等電子元件,處理操作指令。
5.3.1攝像頭模組
使用RDK X3電路板進行網球識別與回傳。識別網球的步驟如下:
- 啟動識別程序:啟動RDK X3的視覺系統,用于檢測和跟蹤網球。
- 初始化攝像頭:確保攝像頭正確初始化,以捕捉周圍環境圖像。
- 網球檢測:RDK X3使用卷積神經網絡識別網球。
- 跟蹤網球:檢測到網球后,啟用跟蹤算法追蹤網球的移動。
- 反饋:根據網球的位置和運動,提供反饋。
- 執行任務:根據網球的位置和軌跡執行任務,如撿球、回傳等。
- 結束識別程序:任務完成后,停止程序,進入待機狀態。
5.3.2 RDK X3:小車運動的主控
RDK X3是一款模塊化開發板,用于機器人控制、感知、定位和規劃等功能。在智能撿球車中,RDK X3負責實現定位、避障和路徑規劃等功能,通過傳感器和算法處理,幫助機器人精確撿拾網球。
RDK X3的作用包括:
- 定位和導航:通過激光雷達、攝像頭等傳感器,RDK X3實現精準定位和導航,幫助機器人找到網球。
- 避障和安全:利用傳感器檢測障礙物,確保機器人安全撿拾網球。
- 運動控制:RDK X3實現精確運動控制,使機器人靈活移動。
- 數據處理和決策:RDK X3處理傳感器數據,做出決策,調整撿球策略。
5.3.3北斗和UWB(超寬帶)雙定位模組
北斗定位模塊和UWB定位模塊在定位網球時發揮重要作用。
- 北斗定位模塊:基于我國自主研發的北斗衛星導航系統,提供全球范圍的定位服務。通過接收衛星信號,利用三角定位原理計算位置信息,支持多頻點、多系統聯合定位,能夠在復雜環境中穩定、可靠地提供定位服務。
- UWB定位模塊:具有高精度、高實時性和抗干擾性,尤其適用于隧道等復雜環境中的精準定位。
應用:
- 全局定位和場地規劃:北斗模塊用于室外球場的全球定位,幫助機器人精確識別位置,規劃路徑,確保安全撿球并有效返回發球位置。
- 精準室內定位和球位置識別:UWB模塊提供室內高精度定位,幫助機器人準確識別網球位置,提升撿球效率。
- 動態避障和交互式撿拾:UWB模塊實時感知環境,避免障礙物,結合兩種定位技術,機器人能夠精準撿拾網球并送回發球位置。
通過結合北斗和UWB雙定位模組,機器人可實現高精度定位、路徑規劃、避障和撿拾
-
機器人
+關注
關注
211文章
28800瀏覽量
209106 -
人工智能
+關注
關注
1799文章
47959瀏覽量
241172 -
RDK
+關注
關注
0文章
13瀏覽量
9074
發布評論請先 登錄
相關推薦
ARDUINO基礎入門,帶你進入自制智能機器人的時代
什么是工業機器人
并聯機器人快速準確拾取物體
Tennibot全球第一臺使用計算機視覺和人工智能撿網球機器人
15歲初中女生發明撿拾乒乓球機器人,靈感來源農田收割機
年輕人近期熱捧的以內X3掃地機器人 暗藏了哪些玄機

網球場館LED球場照明燈
全球招募新品體驗官 | 30天玩轉地平線RDK X3 Module

地平線RDK X3語音算法通過Alexa ACM方案認證

地瓜機器人發布一系列通用機器人套件
ROSCon China 2024 | RDK第一本教材來了!地瓜機器人與古月居發布新書《ROS 2智能機器人開發實踐》

評論