2016年,高盛發布了一份名為《AR與VR:下一個通用計算平臺競賽的解讀》的行業報告,報告認為增強現實(AR)技術和虛擬現實(VR)技術將成為繼計算機和智能手機之后的下一代計算平臺,現有電子市場很可能將被重塑。到2025年,AR和VR的軟硬件年銷售額將達到800億美元,如果解決了電池問題,年收入更可達到1820億美元。
報告發布之后,AR仿佛一夜之間進入了公眾視野。實際上,AR技術并不是一個新興概念,早在20世紀60年代末,就有科學家進行過增強現實技術的探索。而且AR(Augemented Reality)這個詞的誕生還和航空有關,是由波音的工程師而創造。
波音使用AR技術提高裝配線束的效率
1990年,波音啟動了777飛機的研制工作。由于777采用了全新的航電、飛控、起落架等設計,需要在飛機上安裝大量的航空線束。這些線束對于飛機來說,好比人體上的神經系統和能量傳遞系統,不僅提供傳統的配電功能,還是各類系統的信息傳輸保證。線束的安裝位置必須準確快速,一方面要保證各類線束之間彼此不產生干擾,另一方面也要避免被外界的信號干擾或者干擾外界的信號。
飛機內部復雜的航空線束
為了安裝這些復雜的線束,生產人員必須在看安裝指導書的同時進行手動繞線裝配工作。這種方式不僅工作效率較低,而且安裝的準確性也很難保證。
為了解決上述問題,1990年波音的兩位工程師Thomas Caudell和David Mizell,提出使用一種抬頭透視裝置。它依據頭部攝像頭采集的場景生成數字CAD圖,自動從完整的安裝指導書提取匹配當前場景的部分,生成當前操作的安裝指導虛擬圖像,疊加到真實視野場景里。這樣工人便可以按照透視的虛擬線路指導,進行各類布線安裝。通過這個裝置,輕而易舉地提高了安裝線束的效率同時減少安裝線束的錯誤。由此他們創造了“Augmented Reality”這個英文詞組,來描述在真實場景下依據用戶看到的物體,自動疊加虛擬內容的技術。
波音公司最早進行AR技術的嘗試
所以要實現AR技術,有兩項關鍵技術需要突破,分別是智能識別技術和跟蹤注冊技術。前者解決在哪里疊加虛擬物體,后者解決以何種姿態去疊加。由于配套上下游產業鏈尚不成熟,顯示和跟蹤注冊等技術還不完善,最終這個設想離實用還有一段距離。
工人按照谷歌眼鏡的提示進行布線
20多年過去后,布線方法依然沒有太大改變。唯一的改變就是,1990年安裝工人需要查閱的是紙質版手冊,而現在是查閱平板電腦上的PDF版本。但波音并沒有停止在航空線束裝配中應用AR技術的步伐,谷歌眼鏡的誕生為AR技術在航空工業的應用創造了條件。
谷歌眼鏡是谷歌公司2012年推出的一款AR眼鏡。谷歌眼鏡在鏡片的右上方配備了一個頭戴式微型顯示器,可以在顯示器上投射需要的信息,其效果與在2.4m外的25in(635mm)高清屏幕顯示效果類似。谷歌眼鏡只提供了基礎的硬件平臺,波音為此找到應用軟件開發商Skylight,共同開發滿足線束裝配的AR應用軟件。在試驗時,一名工人首先領取谷歌眼鏡,通過掃描一個二維碼完成設備認證;完成認證后,系統給谷歌眼鏡自動推送一個線束裝配應用;然后這名工人走向裝配現場,再次利用眼鏡上的攝像頭掃描在裝配現場某個部件上的二維碼,該部件線束的裝配指導就自動地在眼鏡上顯示出來;工人便按照指導一步步地進行線束的裝配。
Skylight還基于谷歌眼鏡開發了遠程專家協助功能。當工人遇到無法獨立解決的問題時,利用谷歌眼鏡,把拍到的現場視頻實時傳給其他地方的專家進行求助。由于AR眼鏡的攝像頭處于人眼附近,專家看到的畫面和現場工人看到的基本一致,遠程指導更加有效。
那么這個項目取得了什么效果?波音工程師DeStories表示,AR眼鏡幫助安裝工人節省了至少25%的裝配時間,并顯著降低了錯誤率。
波音為了分析AR技術對于減少裝配錯誤的影響,在2015年專門啟動了對照試驗。該試驗選擇了一個有50個步驟的裝配任務,定量采集AR技術對于減少錯誤和提高效率的基礎數據。波音將45名學生分成了三組,一組使用紙質版的操作手冊,第二組通過平板電腦讀取PDF格式的手冊,最后一組使用具有AR功能的觸屏式平板電腦。結果顯示,使用紙質手冊的學生在第一次裝配時發生了8次錯誤,第二次又發生了4次。PDF組第一次和第二次都發生了1次錯誤。然而,AR組第一次發生了0.5次錯誤,第二次沒有發生。通過這個試驗,波音堅信AR技術可以幫助公司減少培訓時間,加快制造速度,降低工人在不同任務中的切換難度。
然而基于谷歌眼鏡研發的APP要真正走向實用,還面臨一個很大的障礙:信息安全。在試驗項目中,所有設備都在封閉的網絡環境中進行,而實際的裝配環境卻是依賴網絡才能展開。如果網絡被黑客攻破,把錯誤的裝配指導發給了現場工人,后果將不堪設想。DeStories表示,信息安全問題必須得到非常嚴格的保障后,才能考慮在生產過程中使用基于網絡連接的AR眼鏡。
在國外有谷歌在嘗試,在國內有深圳的0glass在嘗試,0glass AR智能眼鏡在飛機發動機維修中已經落地應用。0glass將人工智能技術、AR智能眼鏡與增強現實技術進行結合而設計的0glass AR智能眼鏡全終端工作輔助和培訓系統(PSS)在工作、管理、培訓、和知識積累這幾方面展示出智能化維修的優勢。
PSS不僅是一套AR智能眼鏡工作輔助的數字化工具和系統平臺,它核心的價值是“以人為中心”的企業大數據輸出、采集、沉淀、過濾、分析的智能引擎,使用越多,數據積累越多,最終成為企業生產、管理決策的大腦之一。
PSS同時也是機器學習應用的典型案例,它對“以人為中心”產生的人機、設備、環境等大數據進行分析和預測,可以實現降低生產成本,優化業務流程、提升工作效率、預防事故發生、改善客戶體驗、對工人進行精確的個性化培訓、知識沉淀等。
空客的AR應用嘗試成果喜人
空客公司對于AR技術的應用比波音要晚。空客曾將AR技術應用于水管安裝、艙內連接器和客艙開發過程中。其中,在客艙開發時,空客使用AR技術在通用的設計樣機/銷售樣機上疊加虛擬設計概念或用戶配置,能夠迅速讓設計人員和用戶體驗到最終效果,減少剛性原型制作的昂貴成本。空客聯合戴姆勒公司,利用索尼智能眼鏡開發的AR系統、計算流體力學(CFD)軟件和溫度傳感器等數據輸入,實現座椅空間氣流、溫度的可視化,助力設計人員進行客艙開發。空客同時在不同機型的制造裝配中,開展了使用增強技術輔助裝配、質量控制等一系列的試驗性項目。
2015年上半年,空客在A330的最終裝配階段,引入了AR技術輔助實現座椅及其他客艙裝修的精確位置標定,并首次利用了頭盔式眼鏡實現AR的功能。
頭盔式眼鏡配備了一個攝像頭,在掃描二維碼后,設備會顯示不同客戶需求的艙內安裝計劃、信息和標定區域。原來必須有經驗的工人來解碼復雜的設計圖、準備標定模板,并需要長時間保持專注。有了此AR頭戴式設備,重塑了空客的標定操作模式,還能提供常見的手勢交互和英文語音交互功能。
空客工人利用AR眼鏡在進行客艙裝修的位置標定
為了獲得更加全面的測試效果,空客在5架A330飛機上進行了試驗。結果非常喜人,即便毫無裝配經驗的人,位置標定所需要的時間也僅需要之前的1/6,錯誤率更是降為0。
與此同時,空客在A380、A350XWB和A400M開展了類似的AR試驗項目。空客在復合材料機艙內安裝6~8萬個托架,用來支撐大量液壓管和線束,并使用帶有AR功能的平板電腦,訪問飛機3D模型并將操作和安裝結果與原始數字設計進行對比,以檢查是否有缺失、錯誤定位或托架損壞。在檢查完成后,自動生成報告,包括任何不合格零件的細節,都能夠很快得到替換或修理。利用該AR系統,A380機身上8萬個托架的檢查時間從3周縮減到了3天。
其他制造商在嘗試應用AR技術
作為美國軍用飛機最大的制造商,洛克希德-馬丁同樣嘗試了將AR技術應用到飛機制造過程中。其中采用愛普生Moverio BT-200 智能眼鏡的AR平臺加速了F-22和F-35的制造過程,AR平臺實時提供視覺幫助,方便地讓生產人員了解零件的編號和計劃,確保每個部分都能正確、快速的裝配。比如,當工程師戴著AR眼鏡進行起落架的部件安裝時,只需要通過眼鏡看著起落架的輪子,就可以跟隨安裝手冊的一步步指導,包括每根線纜和每個螺栓以及它們需要安裝的位置和編號等信息,完成安裝。
在這個平臺的幫助下,工程師們的裝配速度能夠提高30%,準確率達到96%。除此之外,通過應用AR技術,把安裝指導手冊和質量要求在工人的眼鏡上按需顯示,也大量縮短工人的培訓時間。
洛馬的戰斗機裝配車間
洛馬公司在維修領域也使用了平板AR技術,維修人員能夠提前了解待修飛機的3D模型。通過這種方式能夠將維修時間從幾天減少到幾個小時。
除了以上飛機制造商之外,飛機維修維護企業漢莎技術和法荷航技術同樣也有AR技術的應用探索。漢莎技術使用了基于激光投影的AR技術,協助機務實施頭等艙艙內設施的安裝。這個移動投影系統可以和每個安裝場景適配,在飛機機體內可以靈活的固定和配準。所需要的安裝模板直接被投影到飛機結構正確的位置上去,這個模板能為機務在正式安裝時提供有力協助。據稱,這種工作方式可減少50%的工作時間。而法荷航技術正考慮為法荷航提供具有AR功能的登機牌。
時機成熟了嗎?
雖然分析了如此多應用AR的案例,但是要么是基于平板電腦的AR應用,要么是停留在試驗階段,并未在航空工業生產或者維修過程中,真正大面積實際應用基于眼鏡的AR技術。
跟蹤和注冊技術
跟蹤和注冊是AR的核心技術之一,是實現虛實融合的基礎技術。跟蹤指的是確定某物體在物理世界中的位置和朝向,物體可以是待疊加虛擬圖像的真實物體,也可以是指用戶身體的某部分,如頭部或者手部。注冊是在跟蹤的基礎上,實現虛擬物體和真實物體的對準,從而完成虛實融合的目標。
為了符合AR眼鏡的使用要求,跟蹤技術必須滿足移動性、輕便性和厘米級精度。因此,基于硬件的跟蹤技術,比如北斗/GPS、機械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學跟蹤等,均無法滿足上述要求。基于視覺的跟蹤技術,提供了一種非接觸式的、精確的、低成本的解決方法,在AR眼鏡領域的實用性日益增強。尤其是隨著處理芯片計算能力的增強、3D傳感器成本和尺寸的大幅下降,即時定位與地圖構建(SLAM)方法現在已經成了AR眼鏡上跟蹤技術的主流。SLAM技術通常使用深度傳感器(ToF等)和雙目視覺傳感器采集到的3D數據,結合慣性傳感器數據,不需要預存場景信息,在運行階段完成場景的構建以及跟蹤。這個技術滿足了移動性、輕便性和厘米級精度的需求,已經在諸如微軟Hololens等產品中得到了應用。
注冊的主要誤差來自兩個方面,第一個也是最主要的來源是跟蹤誤差,第二個來自于顯示變形。跟蹤誤差改善的途徑有兩條,一是采用更多的傳感器和更好的算法,比如使用SLAM等方法來減少跟蹤誤差;另一條是考慮渲染和跟蹤誤差,實現兩者的聯合優化,減少注冊誤差。因此,伴隨著SLAM等技術的成熟和產品化,AR技術的跟蹤和注冊問題基本得到了解決。
顯示技術
AR眼鏡的顯示包括了圖像源和光學系統兩個部分。圖像源目前有LCoS(微軟Hololens和索尼采用)、mini-OLED(蘋果可能采用)和DLP(Oculus采用)等。顯示技術現今的焦點在光學系統部分,按照成熟度由高到低,分別是ODG反射式方案、光波導方案以及光場技術。
ODG反射式方案是一種改進型的棱鏡方案,采用了單片半反半透鏡的技術。該方案把棱鏡的其他部分去掉,只留下半反半透的膜層。通過這種方式可以輕松實現夾著膜層的玻璃片的輕薄化。這種方案的特點是成本低、技術成熟,缺點是鏡片尺寸和占用空間比其他兩種方案略大。光波導方案利用了光的衍射原理實現圖像投射。以Hololens為例,它使用了全息衍射波導光柵,這個顯示技術的優點是鏡片可以做到和普通鏡片差不多厚度,缺點是現階段視場較小,成本較高。MagicLeap公司曾將光場技術推向實用化,通過改變纖維在三維空間中的形狀,特別是改變纖維端口處的切線方向來控制激光射出的方向。光場技術的發展潛能很大,能夠解決目前VR/AR領域面臨的諸如FOV較窄和圖像質量差等諸多技術難題。然而,光場技術的缺點也是顯而易見的,計算量大,極難在眼鏡上實現,同時要以數據同步的方式實時調整光纖維的顫動方式,從而自然改變光的輸出方向,也非常難實現。
ODG反射方案和光波導方案現在均有了商用產品,而光場技術現在還停留在概念階段,產品的推出尚沒有準確時間。
從AR眼鏡在航空工業中的應用可能性來看,ODG反射式方案盡管體積較大,但對于工業級用戶來說,可以接受。現階段AR眼鏡的顯示技術也滿足了大部分場景下的使用要求,但在航空領域的一些特殊工作場景,如室外機坪、大空間的機庫和車間等,仍有難度。
復雜環境適應性
目前各大公司開發的AR眼鏡和技術,目標的工作場景集中在小空間的室內環境,而航空工業的環境還包括室外機坪以及尺度達到幾百米的大空間機庫或者車間。
室外的工作場景,除了對電子設備提出了三防、高低溫等需求之外,對于AR的核心技術也提出了新的挑戰。比如室外工作場景的光照條件是復雜多變的,會帶來逆光、反光、光照不足、陰陽光照等問題,從而對于物體識別和SLAM技術帶來實現的困難。此外,室外條件下太陽光的紅外分量對于光傳感器的干擾,也需要攻克。
大空間也會對SLAM的工作距離提出挑戰,現在的深度傳感器最大的工作距離一般不超過150m,小于機庫或者車間的尺寸。另外,在機坪、機庫或者車間里,由發動機等設備發出的巨大噪聲,也給語音交互造成技術障礙。
因此,在復雜環境適應性方面,現有的AR技術需要進行進一步可行性論證和評估。
實現AR在航空工業的突破
待技術完全成熟有了產品,再去推廣往往并不一定能成功。所以先以應用需求為牽引,在現有成熟技術的基礎上,開發AR技術系統。只要能實現市場痛點的“單點突破”,就有機會推動應用的進一步縱向深入和橫向擴展,同時也能促進技術的逐步成熟。
尚未解決的核心技術必須高度重視。雖然現在實現光場技術還有很多困難,但是隨著微軟以及MagicLeap公司在該領域的深入,相信在不久的將來,該技術就有望實現產品化。由于光場技術對于人眼來說是最自然舒服的顯示方式,一旦其實現產品化,勢必會成為各大AR廠商首選的顯示方案。
復雜環境下的智能識別和環境建模也是下一步要攻克的難題。復雜的光照條件,對于基于視覺的識別和SLAM技術是一個難題。一旦得到解決,AR在航空工業的需求前景將十分廣闊。
隨著芯片計算能力的提高、各種新型傳感器小型化和低成本化、人工智能技術的快速發展,AR技術在航空工業中的應用前景將十分廣闊。
-
Ar
+關注
關注
24文章
5108瀏覽量
170176 -
vr
+關注
關注
34文章
9645瀏覽量
150790
原文標題:原來AR誕生于航空工業!我們離AR眼鏡造飛機還有多遠?|0glass低調分享
文章出處:【微信號:KingseeAR,微信公眾號:AR工業應用】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
給您下一個FPGA項目選擇Pluto XZU20五大理由!
![給您<b class='flag-5'>下一個</b>FPGA項目選擇Pluto XZU20五大理由!](https://file.elecfans.com/web2/M00/72/C1/poYBAGNXQoOAUojlAAA6Yo1bG0M913.jpg)
ar與虛擬現實的區別 如何優化ar應用的用戶界面
Meta震撼發布Orion AR眼鏡:重塑未來計算平臺
能否在ESP結束之前通過串行端口停止傳入的UDP數據包的傳輸以解析下一個UDP數據包?
問一下一個單片機的io口分別控制四個燈板該怎么設計電路?
XR與AR和VR的區別是什么
XR與AR和VR的區別 如何使用人工智能開發更小、更輕的擴展現實眼鏡
![XR與<b class='flag-5'>AR</b>和<b class='flag-5'>VR</b>的區別 如何使用人工智能開發更小、更輕的擴展現實眼鏡](https://file1.elecfans.com/web2/M00/F8/62/wKgZomaHts2Acqv5AA4mAxCCdns602.png)
Rokid正式發布新一代AR Lite空間計算套裝
高速風筒的下一個風口是直發吹風機?【其利天下技術】
![高速風筒的<b class='flag-5'>下一個</b>風口是直發吹風機?【其利天下技術】](https://file1.elecfans.com/web2/M00/C6/95/wKgaomYBMhGAeZctAAA_DrsxBWo592.png)
評論