機器人領域的新興力量正在崛起。NVIDIA最新一批的“Jetson”高中實習生們花了8周的時間,利用深度學習和神經(jīng)網(wǎng)絡搭建機器人。有朝一日,這些機器人將可能真正用于校園中。
這些才華橫溢的高中生將他們對于機器人學的熱情帶到我們的嵌入式部門。該小組專注于機器人和無人機等智能機器的研發(fā)。
三組實習生團隊基于Jetson搭建機器人,并在商業(yè)設施內(nèi)展示各種功能。三個項目分別涉及類人型機器人、投影燈和2D激光測距儀。
“神經(jīng)忍者”團隊
來自“神經(jīng)忍者“團隊(Team Neural Ninja)的Maddie Waldie、Nikhil Suresh和Jackson Moffet為一個類人型機器人編制程序,使其能夠識別手勢(如揮手)并作出反應。為了讓機器人正確識別目標對象,該團隊共訓練了超過 300 個神經(jīng)網(wǎng)絡。
據(jù) Nikhil 稱,該項目最困難的部分是——找到能夠識別手勢并忽視背景噪音的正確的神經(jīng)網(wǎng)絡。經(jīng)歷數(shù)小時的試錯之后,他們最終取得了成功:機器人現(xiàn)在可以識別出手勢語中的“對不起”、代表否定的手臂姿勢 "X" 和代表肯定的手臂姿勢 "Y"。此外,它還可以說話并移動,比如輕輕拍打,這讓許多過路人驚嘆不已。
“我們經(jīng)歷過很難的時刻,尤其是在一遍遍的訓練之后得到了新數(shù)據(jù),卻發(fā)現(xiàn)它并不起作用。不過,我們最終得出了效果良好的網(wǎng)絡,那一刻大家都很開心,”Maddie說道,“一旦取得了成功,那么一切的付出都是值得的?!?/p>
CCCC (ForeSee) 團隊
CCCC 團隊的任務是為機器人編制程序,以使其避開復雜障礙物。他們花了8周的時間學習計算機視覺與深度學習的交叉學科知識。
機器人經(jīng)常對諸如網(wǎng)狀欄桿之類的障礙物“感到困惑”,因為這些障礙物不能被使用反射或2D激光測距儀的傳感器檢測到。大部分的解決方案均耗資不菲,而Rahul Amara、Josh Hejna、Mokshith Voodarla和Anish Singhani則開發(fā)了一種利用廉價攝像頭即可實現(xiàn)的深度學習技術解決方案。
為了給機器人編制程序,使其能夠穿過任意兩點并成功避開所有障礙物,CCCC 團隊利用欄桿和樓梯等物體的圖像對深度神經(jīng)網(wǎng)絡進行了訓練。
他們面臨的挑戰(zhàn)是設計一款既高效又準確的軟件。借助NVIDIA的開發(fā)平臺,這四位成員成功找到了一種可以優(yōu)化這兩個參數(shù)的網(wǎng)絡。
“在NVIDIA工作的一大優(yōu)勢在于,我們可以與開發(fā)相關項目并擁有多年經(jīng)驗的人進行交流,”Rahul說道,“每當遇到問題,我們可以向一大幫人尋求幫助,并向他們學習。”
GreenMachine 團隊
GreenMachine 團隊由Shruthi Jaganathan、Isaac Wilcove和Karly Hou三位成員組成,他們開發(fā)了一款由Jetson TX2提供支持的垃圾分類機器人,以指導NVIDIA員工放置各種剩菜、餐具、杯子和盤子。
該機器人由移動小推車和其頂部的投影儀頭組成,計劃在圣克拉拉辦公室的咖啡館投入使用。投影儀可閃爍不同顏色的燈光:紫色為可重復使用、藍色為可回收、綠色為可降解、橙色為垃圾,從而告訴用戶應該把垃圾投入何處。
據(jù)Shruthi稱,攝像頭校正是項目中難度最大的部分。傳感器經(jīng)常會受到投影儀燈光顏色的干擾,從而加大了檢測物體紋理的難度。例如,照射在塑料盤上的紫色燈光會讓攝像頭錯誤地將盤子辨認成可降解材料。不過,通過利用數(shù)百張有顏色的圖像訓練網(wǎng)絡,該團隊最終得到了成功的模型。
“我真的要感謝自己在NVIDIA的兩年實習經(jīng)歷,我知道的關于深度學習的知識,都是在這里學到的?!盜saac如是說,“現(xiàn)在我的目標很明確,就是在將來從事這方面的工作。”
所有以上項目均可在GitHub上找到。
-
機器人
+關注
關注
213文章
29691瀏覽量
212582 -
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4813瀏覽量
103420 -
深度學習
+關注
關注
73文章
5560瀏覽量
122745
原文標題:NVIDIA高中實習生鉆研深度學習技術,化身機器人開發(fā)“小能手”
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】機器人入門的引路書
BP神經(jīng)網(wǎng)絡與深度學習的關系
深度學習入門:簡單神經(jīng)網(wǎng)絡的構建與實現(xiàn)
人工神經(jīng)網(wǎng)絡的原理和多種神經(jīng)網(wǎng)絡架構方法

【「具身智能機器人系統(tǒng)」閱讀體驗】2.具身智能機器人的基礎模塊
深度學習中的卷積神經(jīng)網(wǎng)絡模型
Moku人工神經(jīng)網(wǎng)絡101

迅龍軟件加入甲辰計劃“開源實習生聯(lián)合招聘培養(yǎng)”項目,共建RISC-V?開源生態(tài)

評論