導(dǎo)讀

最近，全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽下設(shè)的信息前沿專題邀請(qǐng)賽頒獎(jiǎng)典禮在南京郵電大學(xué)舉辦。我們看到了其中的幾個(gè)一等獎(jiǎng)作品，其中獲得“瑞薩杯”的是用AI技術(shù)做的餐柜。

作者：黃燁鋒

責(zé)編：Illumi

這兩年，疫情雖然影響到了很多行業(yè)內(nèi)的原有活動(dòng)安排，但項(xiàng)目推行質(zhì)量也還是很堅(jiān)挺。比如全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽下設(shè)的信息前沿專題邀請(qǐng)賽。

2020年我們也參加了瑞薩杯信息前沿專題邀請(qǐng)賽的頒獎(jiǎng)典禮——原本按照雙數(shù)年舉辦的傳統(tǒng)，這個(gè)賽事的頒獎(jiǎng)典禮也應(yīng)該在2022年舉辦。但因?yàn)橐咔椋C獎(jiǎng)典禮從原定的去年8月，推遲到11月，最終延后到了今年3月，也算是好事多磨了。

在接受采訪時(shí)，西安交通大學(xué)秘書(shū)長(zhǎng)羅新民教授說(shuō)不僅是頒獎(jiǎng)典禮，比賽的展開(kāi)也多番受到影響，比如在明確了邀請(qǐng)的高校隊(duì)伍之后，瑞薩準(zhǔn)備的開(kāi)發(fā)板就要發(fā)往學(xué)校——但恰逢去年上海為期3個(gè)月的防疫封禁，“遲遲沒(méi)有快遞小哥能把這些東西送出去。”羅新民說(shuō)，“后來(lái)我們有幾個(gè)學(xué)校的指導(dǎo)老師當(dāng)起了快遞小哥，自己去給各個(gè)高校送了開(kāi)發(fā)板。”項(xiàng)目呈現(xiàn)、評(píng)審過(guò)程也是線上線下結(jié)合的方式。

不過(guò)最終呈現(xiàn)的作品質(zhì)量并沒(méi)有受到影響。2022屆的瑞薩杯邀請(qǐng)賽主題為“網(wǎng)絡(luò)化語(yǔ)音圖像檢測(cè)與識(shí)別”。其實(shí)2020屆的比賽就已經(jīng)在嘗試迎合時(shí)代AI主題，更多引入計(jì)算機(jī)視覺(jué)應(yīng)用了。當(dāng)時(shí)評(píng)委在接受采訪時(shí)還提到，學(xué)生對(duì)于AI推理算力的利用仍然沒(méi)有那么充分；但從今年的作品來(lái)看，切題程度是更加到位的。

幾個(gè)一等獎(jiǎng)獲獎(jiǎng)作品

比如說(shuō)組委會(huì)委員/專家組專家、華南理工大學(xué)的殷瑞祥教授特別提到了“利用圖像識(shí)別技術(shù)，把箱子里的面包、烘焙食品認(rèn)出來(lái)，知道里面還有哪些食品、存量多少等等；然后通過(guò)互聯(lián)網(wǎng)，實(shí)現(xiàn)進(jìn)貨、庫(kù)存增減等操作”。

這個(gè)項(xiàng)目就是本次邀請(qǐng)賽獲得了瑞薩杯的作品，廈門(mén)大學(xué)的“慧眼識(shí)珠-基于瑞薩RZ/G2L的現(xiàn)制烘焙簡(jiǎn)餐柜”（參與學(xué)生：林樸堅(jiān)、黃添豪、廖元熙）。活動(dòng)現(xiàn)場(chǎng)展示這個(gè)作品描述提到，是“將經(jīng)過(guò)優(yōu)化的YOLOv5目標(biāo)檢測(cè)算法部署在瑞薩嵌入式芯片RZ/G2L上”，結(jié)合人臉識(shí)別算法實(shí)現(xiàn)自助結(jié)算。

YOLOv5的“裁剪優(yōu)化”，并部署于RZ/G2L板，應(yīng)該是這個(gè)項(xiàng)目的核心。另外基于攝像頭、QT人機(jī)交互界面的自助終端和服務(wù)器，實(shí)現(xiàn)取物、支付之類的操作，似乎也是項(xiàng)目重點(diǎn)。雖然因?yàn)闀r(shí)間關(guān)系，我們沒(méi)能對(duì)項(xiàng)目做更為細(xì)致的了解，不過(guò)這個(gè)作品的完成度比我們前兩年看到的大學(xué)生競(jìng)賽作品都更高，對(duì)于CV應(yīng)用的實(shí)踐也更為成熟。

瑞薩杯獲獎(jiǎng)隊(duì)伍

值得一提的是，殷瑞祥教授評(píng)價(jià)本屆邀請(qǐng)賽強(qiáng)調(diào)的“網(wǎng)絡(luò)化”主題，在得獎(jiǎng)作品中有比較好的體現(xiàn)。“不光是本地開(kāi)發(fā)板資源的利用，同時(shí)還要考慮如何充分利用互聯(lián)網(wǎng)技術(shù)、云資源來(lái)做開(kāi)發(fā)。”殷瑞祥說(shuō)，“從同學(xué)們的作品來(lái)看，現(xiàn)在的大學(xué)生應(yīng)用互聯(lián)網(wǎng)資源很嫻熟，作品也能充分體現(xiàn)網(wǎng)絡(luò)化主題。”

瑞薩電子中國(guó)戰(zhàn)略市場(chǎng)銷售部高級(jí)經(jīng)理于濤也說(shuō)：“大部分作品在網(wǎng)絡(luò)化這塊都有挺好的體現(xiàn)。一等獎(jiǎng)瑞薩杯的這個(gè)作品，其實(shí)它不光是簡(jiǎn)單的賣面包的這么一個(gè)系統(tǒng)，它包含有云端、數(shù)據(jù)庫(kù)，還有人臉識(shí)別、購(gòu)買習(xí)慣管理的一套東西做支撐。”“我記得還有個(gè)南郵的作品，是空地協(xié)同的搜救系統(tǒng)。天上有個(gè)無(wú)人機(jī)，地下一輛救援車，兩頭互相通信協(xié)調(diào)。網(wǎng)絡(luò)化技術(shù)在同學(xué)們的應(yīng)用里還是挺好的。”

網(wǎng)絡(luò)化實(shí)際上也切實(shí)體現(xiàn)了作品完整度的增強(qiáng)。5個(gè)一等獎(jiǎng)作品里，除了得到本屆瑞薩杯的上述作品，還有4個(gè)一等獎(jiǎng)作品在頒獎(jiǎng)典禮現(xiàn)場(chǎng)也做了展示。分別有下面這些：

▲ 智能出餐系統(tǒng)（林鈺哲、張承翰宇、譚程珂，杭州電子科技大學(xué)）。整個(gè)作品包含了云端服務(wù)器系統(tǒng)、主控系統(tǒng)、從控系統(tǒng)。云端服務(wù)器系統(tǒng)下，可用微信公眾號(hào)平臺(tái)點(diǎn)餐；餐廳管理人員可以登錄后臺(tái)查看訂單情況、修改上架菜品。

主控系統(tǒng)以瑞薩RZ/G2L為核心，“每隔一段時(shí)間向服務(wù)器申請(qǐng)訂單信息”，通過(guò)攝像頭捕獲圖像信息，藉由YOLOv5模型對(duì)傳入的畫(huà)面進(jìn)行菜品識(shí)別，并將結(jié)果傳輸至從控系統(tǒng)。從控系統(tǒng)有個(gè)機(jī)械臂，上面接了勺子，用于打菜，“在接收到從控系統(tǒng)的數(shù)據(jù)后”“內(nèi)置的G2L核心板控制舵機(jī)系統(tǒng)，根據(jù)既定的運(yùn)動(dòng)指令操控機(jī)械臂”——這個(gè)從控系統(tǒng)本質(zhì)上也就是個(gè)完整的執(zhí)行系統(tǒng)。

▲智能垃圾分類系統(tǒng)（姜榮昇、孫海華、張廣源，青島大學(xué)）。主要功能是實(shí)現(xiàn)對(duì)垃圾的識(shí)別和分類，也是基于計(jì)算機(jī)視覺(jué)進(jìn)行垃圾圖像分類“和語(yǔ)音功能”——雖然不知道這個(gè)語(yǔ)音功能究竟是做什么的；執(zhí)行部分會(huì)有開(kāi)關(guān)、垃圾桶狀態(tài)檢測(cè)上傳；另外配套開(kāi)發(fā)了app，可以從中查看垃圾桶狀態(tài)，比如在垃圾桶滿時(shí)，會(huì)有實(shí)時(shí)消息推送。

▲全自主空地協(xié)同搜救系統(tǒng)（朱淳溪、代軍、馮驥川，南京郵電大學(xué)）。“基于V-SLAM的空地協(xié)同搜救系統(tǒng)”，“集合了無(wú)人機(jī)嵌入式聲源定位（SSL），搜救音頻信號(hào)處理與識(shí)別、受災(zāi)人體識(shí)別、多傳感器融合定位、視覺(jué)SLAM、自主路徑規(guī)劃、多模態(tài)信息處理，目標(biāo)檢測(cè)以及智能體間目標(biāo)位置的實(shí)時(shí)共享、網(wǎng)絡(luò)化遠(yuǎn)程遙控等功能”。

展示的主體部分包括無(wú)人機(jī)和救援車。這套系統(tǒng)的亮點(diǎn)從介紹來(lái)看還挺多，包括“自主設(shè)計(jì)八通道立方體麥克風(fēng)陣列，可實(shí)現(xiàn)對(duì)三維空間多方位的音頻信息采集”；“利用瑞薩開(kāi)發(fā)板上集成的TensorFlow-Lite環(huán)境搭建深度網(wǎng)絡(luò)用于人臉檢測(cè)，RNN網(wǎng)絡(luò)用于人聲提取”；還有“實(shí)時(shí)定位與建圖”“動(dòng)態(tài)避障與路徑規(guī)劃”，實(shí)施方案詳情未知，看起來(lái)是個(gè)大工程... ...

?

▲行車安全預(yù)警系統(tǒng)，主要是疲勞駕駛檢測(cè)（關(guān)舟、張梓健、王虹極，西安交通大學(xué)）。攝像頭的駕車者疲勞識(shí)別自然是主體，這個(gè)項(xiàng)目的核心大概在于對(duì)于眼部、嘴部、頭部姿態(tài)的疲勞狀態(tài)識(shí)別，“結(jié)合偏差時(shí)間累積算法避免誤檢”；另外加入了GPS模塊用于檢測(cè)車速，并記錄駕駛時(shí)長(zhǎng)等信息；以及有語(yǔ)音示警，和遠(yuǎn)程云端管理后臺(tái)功能。

以上是有關(guān)作品介紹的部分，再來(lái)談?wù)勔陨纤械锚?jiǎng)作品圍繞的硬件核心，也就是基于瑞薩RZ/G2L的開(kāi)發(fā)板。雖然今年的邀請(qǐng)賽同樣大方向著眼在了CV，但并沒(méi)有像去年那樣選擇RZ/A2M——也就是帶DRP、專用AI單元的微處理器。

RZ/G2L的邊緣AI推理，主要是依托于Cortex-A55的NEON指令集增強(qiáng)，“AI推理性能比前代產(chǎn)品提升約6倍”，“推理時(shí)延降低50%”。這應(yīng)該也算是相當(dāng)符合了當(dāng)代TinyML時(shí)代潮流的選擇。

瑞薩電子中國(guó)MPU事業(yè)發(fā)展部經(jīng)理張智博說(shuō)：“我們兩屆比賽給同學(xué)們選用的是不同的平臺(tái)，希望可以豐富比賽多樣性”：A2M“更加面向工業(yè)軟件應(yīng)用場(chǎng)景”，“像是RTOS這樣的系統(tǒng)”；“而G2L平臺(tái)跑Linux系統(tǒng)”，“這個(gè)平臺(tái)主打的不是圖形圖像加速，而是工業(yè)HMI場(chǎng)景”。

另外張智博還談到了RZ/G2L的“五大優(yōu)勢(shì)”：除了Cortex-A55相較之前的A53性能提升，以及強(qiáng)調(diào)邊緣AI處理性能加強(qiáng)之外，還包括（1）工業(yè)HMI所需功能和接口豐富，包括MIPI、兩路千兆以太網(wǎng)、兩路CAN-FD等，“除了用RZ/G2L平臺(tái)做工業(yè)HMI應(yīng)用場(chǎng)景，還有許多客戶會(huì)將其用于控制側(cè)場(chǎng)景，比如PLC，比如太陽(yáng)能逆變器管理側(cè)”；（2）內(nèi)置了12位ADC、Cortex-M33子核，“還有個(gè)優(yōu)化的電源管理芯片集成在平臺(tái)上”。所以電路板整體尺寸可以更小，降低BOM成本。（3）針對(duì)工業(yè)級(jí)應(yīng)用，提供“超長(zhǎng)期支持Linux”“10年以上的長(zhǎng)生命周期”——這一點(diǎn)主要是基于CIP Linux內(nèi)核，“CIP聯(lián)盟做了工業(yè)級(jí)Linux，對(duì)Linux系統(tǒng)會(huì)有10年以上內(nèi)核的支持”，“瑞薩是CIP聯(lián)盟的創(chuàng)始成員之一，會(huì)和CIP聯(lián)盟成員共同參與維護(hù)、開(kāi)發(fā)和支持”。（4）平臺(tái)硬件和軟件可擴(kuò)展性支持，包括針對(duì)部分平臺(tái)的pin-to-pin兼容性，包括V2L、G2LC等。

這種比賽的價(jià)值究竟何在？

全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽，大框架是分成了單數(shù)年的全國(guó)大賽，和雙數(shù)年的邀請(qǐng)賽的，瑞薩杯是后者的一部分。瑞薩是從2008年開(kāi)始參與全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽的。2018年屬于賽制轉(zhuǎn)變，也就是“瑞薩杯”信息科技前沿專題邀請(qǐng)賽新10年的開(kāi)端。羅新民教授也將邀請(qǐng)賽稱作“精英賽”，“面向電子信息類的雙一流學(xué)校和相關(guān)專業(yè)的學(xué)生，做定向邀請(qǐng)”。

“從2018年開(kāi)始，我們升級(jí)轉(zhuǎn)變?yōu)樾畔⒖萍佳?qǐng)賽，到現(xiàn)在已經(jīng)舉辦了三屆。2022年是第三次。”瑞薩電子中國(guó)總裁賴長(zhǎng)青在活動(dòng)上說(shuō)，“最早期的10年5屆大賽有1000多所高校、10萬(wàn)+人參與。現(xiàn)在的邀請(qǐng)賽變得更加專業(yè)，要求也更高。”新10年的每一屆瑞薩杯邀請(qǐng)賽，大約會(huì)有90支左右的隊(duì)伍受邀參與。

每次參與此類活動(dòng)，主辦方似乎總要被問(wèn)到，活動(dòng)的價(jià)值何在。因?yàn)榧幢闶蔷⒀?qǐng)賽，一般來(lái)說(shuō)面向大學(xué)生限定主題和時(shí)間的參賽作品，離真正的商用還是有距離的。而且很多時(shí)候，得獎(jiǎng)作品選擇的主題在市面上都已經(jīng)有非常成熟的對(duì)應(yīng)方案。那么這種比賽的意義就很值得關(guān)注。

要說(shuō)這類賽事的價(jià)值，應(yīng)該是對(duì)國(guó)家或社會(huì)，對(duì)冠名贊助的企業(yè)，以及對(duì)學(xué)校和學(xué)生這幾個(gè)方向分別有何價(jià)值。北京理工大學(xué)副主任趙顯利教授說(shuō)：“大學(xué)生電子設(shè)計(jì)競(jìng)賽從開(kāi)始到現(xiàn)在已經(jīng)30年了。競(jìng)賽的目的也在與時(shí)俱進(jìn)不斷更新。”“當(dāng)年教育部剛剛發(fā)起這個(gè)競(jìng)賽的年代，中國(guó)大學(xué)生的動(dòng)手能力還比較差。我們當(dāng)時(shí)競(jìng)賽的目的就是為了培養(yǎng)大學(xué)生的動(dòng)手能力。這是最初的目標(biāo)。”

“現(xiàn)在的信息科技前沿專題邀請(qǐng)賽，則在于中國(guó)人才的培養(yǎng)。”趙顯利教授談到，“我們搞人才培養(yǎng)的，要跟上國(guó)家的步伐。所以競(jìng)賽就有了目標(biāo)的提升。現(xiàn)在競(jìng)賽的目標(biāo)是創(chuàng)新、拔尖人才的培養(yǎng)。這已經(jīng)和最初動(dòng)手能力的培養(yǎng)有了質(zhì)的飛躍。這也是現(xiàn)在這個(gè)比賽叫做信息科技前沿專題邀請(qǐng)賽的原因。”這是從國(guó)家、社會(huì)層面所做的解答。

以學(xué)生為出發(fā)點(diǎn)，雖然作品還做不到商用，但可談的似乎也不少。“在這么短的時(shí)間內(nèi)，能夠?qū)崿F(xiàn)基本功能其實(shí)已經(jīng)很出色了。要最終形成產(chǎn)品還有難度。”趙顯利說(shuō)，“但參加競(jìng)賽的同學(xué)，成長(zhǎng)速度，和在原有學(xué)習(xí)基礎(chǔ)上在企業(yè)中做出的貢獻(xiàn)，不少人都是被企業(yè)認(rèn)可的。”

就學(xué)校的角度來(lái)看，“我們?cè)谡醒芯可臅r(shí)候看到有同學(xué)有過(guò)這方面的經(jīng)歷，就會(huì)更期待他能來(lái)上我們的研究生。”“有些同學(xué)被免試保送研究生，跟競(jìng)賽獲得的成績(jī)也是有關(guān)系的。說(shuō)明各高校對(duì)這些競(jìng)賽還是非常贊賞。”

從市場(chǎng)的角度來(lái)看，“人才市場(chǎng)給予了高度認(rèn)可，獲得全國(guó)獎(jiǎng)的同學(xué)非常搶手。”殷瑞祥教授特別舉了普源精電和大疆創(chuàng)始人的例子，他們當(dāng)年就是參加了電子設(shè)計(jì)競(jìng)賽的學(xué)生。于濤也說(shuō)：“從成果物轉(zhuǎn)化來(lái)說(shuō)，比賽還是增強(qiáng)了同學(xué)們的社會(huì)競(jìng)爭(zhēng)力的。從我們企業(yè)的角度來(lái)看，對(duì)于本科階段參加過(guò)競(jìng)賽、接受過(guò)相關(guān)訓(xùn)練的同學(xué)，他們的工作能力、上手速度都確實(shí)很優(yōu)秀，我們也很希望這樣的同學(xué)能進(jìn)來(lái)。”

最終從瑞薩作為贊助商的角度，“這么多年和組委會(huì)一起組織這些比賽，對(duì)我們來(lái)說(shuō)也是學(xué)習(xí)的過(guò)程。”賴長(zhǎng)青說(shuō)，“我們更多地去和高校做配合、合作，也看到高校培養(yǎng)目標(biāo)人才的能力越來(lái)越高。學(xué)生的水平，不管是理論水平、實(shí)踐水平也增長(zhǎng)得很快。”

“瑞薩也希望不管在全球市場(chǎng)還是中國(guó)市場(chǎng)，幫助社會(huì)利用我們的技術(shù)、方案和服務(wù)，做出更多的努力和貢獻(xiàn)。”“另外，人才培養(yǎng)也是一方面。”“我們也會(huì)有一些校招計(jì)劃等培養(yǎng)人才相關(guān)的部分，不光是在競(jìng)賽中，去吸納優(yōu)秀人才，是為半導(dǎo)體也是為瑞薩。這是另一個(gè)收獲。”

更多內(nèi)容歡迎查看：

*本文來(lái)源：電子工程專輯EETimesChina

1

END

1

瑞薩電子 (TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續(xù)發(fā)展的未來(lái)。作為全球微控制器供應(yīng)商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業(yè)知識(shí)，提供完整的半導(dǎo)體解決方案。成功產(chǎn)品組合加速汽車、工業(yè)、基礎(chǔ)設(shè)施及物聯(lián)網(wǎng)應(yīng)用上市，賦能數(shù)十億聯(lián)網(wǎng)智能設(shè)備改善人們的工作和生活方式。更多信息，敬請(qǐng)?jiān)L問(wèn)renesas.com