在短短幾年內(nèi)，深度學(xué)習(xí)軟件已經(jīng)比任何傳統(tǒng)算法可以更好地對(duì)圖像進(jìn)行分類處理，而且可能很快就可以超越人工檢查。

近年來，寵物食品制造商已經(jīng)使用機(jī)器視覺軟件來驗(yàn)證狗和貓的食品包裝上是否存在獨(dú)特的字符、代碼、顏色和圖形。然而，現(xiàn)在這些公司可以通過使用深度學(xué)習(xí)視覺軟件驗(yàn)證包裝上是否存在狗或貓圖像來補(bǔ)充這一過程。

與傳統(tǒng)的圖像處理軟件(依賴于特定任務(wù)的算法)不同，深度學(xué)習(xí)軟件使用多層神經(jīng)自學(xué)習(xí)算法網(wǎng)絡(luò)，根據(jù)人類檢查員標(biāo)記的圖像來識(shí)別好圖像和壞圖像。這些數(shù)據(jù)集通常包含每個(gè)缺陷類型至少100個(gè)圖像，通過網(wǎng)絡(luò)提供，以創(chuàng)建一個(gè)模型，對(duì)每個(gè)輸入圖像中的對(duì)象進(jìn)行分類，并確保高水平的可預(yù)測(cè)性。

為了驗(yàn)證寵物食品包裝上的特定動(dòng)物照片，復(fù)雜的神經(jīng)網(wǎng)絡(luò)必須在訓(xùn)練階段后的幾個(gè)層次上模仿人類的判斷。在高層算法專注于更復(fù)雜的特征（如面部，四肢，爪子和尾巴）之前，低層算法會(huì)檢查圖像是否有簡(jiǎn)單的形狀，如邊緣。然后，其他高層算法可以識(shí)別所有照片變形、背景、光照條件、視點(diǎn)和障礙物。最后，頂層算法給出了圖像中動(dòng)物類型的概率，并驗(yàn)證它是否存在于特定的動(dòng)物食品包裝上。所有四個(gè)步驟都在0.5到1秒內(nèi)完成。

Cognex公司視覺軟件營(yíng)銷總監(jiān)John Petry解釋說:“許多節(jié)點(diǎn)組成每個(gè)神經(jīng)網(wǎng)絡(luò)層，每個(gè)節(jié)點(diǎn)做出一個(gè)單一的決定，它們一起識(shí)別所有類型的圖像模式，并對(duì)圖像的好壞做出判斷。”

用于機(jī)器視覺的深度學(xué)習(xí)軟件已經(jīng)存在了十多年，但直到最近幾年才變得對(duì)用戶友好和可行。在這短短的時(shí)間內(nèi)，幾個(gè)行業(yè)的制造商已經(jīng)開始將其應(yīng)用于各種各樣的領(lǐng)域，如檢測(cè)手術(shù)器械上的焊接水坑、驗(yàn)證汽車座椅組件中多個(gè)組件的存在，以及識(shí)別反光金屬表面上的不同缺陷。

軟件供應(yīng)商表示，這些例子代表著第二次機(jī)器視覺革命的開始。深度學(xué)習(xí)不僅對(duì)機(jī)器視覺的各個(gè)方面都有積極的影響——比如精度、相機(jī)性能和燈光控制——而且這種技術(shù)可以完成過去難以完成或需要太多投資的應(yīng)用。

起源與開放

深度學(xué)習(xí)的概念對(duì)于機(jī)器視覺來說相對(duì)較新，但對(duì)于機(jī)器學(xué)習(xí)來說絕對(duì)不是新概念。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊類型，是人工智能的一種。

丹佛的集成商Artemis Vision總裁Tom Brennan說道：“用于深度學(xué)習(xí)的當(dāng)前神經(jīng)網(wǎng)絡(luò)算法非常好，但如果你使用圖靈測(cè)試作為晴雨表，它們還沒有達(dá)到人工智能的水平，目前深度學(xué)習(xí)在一些醫(yī)療設(shè)備和制藥應(yīng)用得到了應(yīng)用。”

Brennan說：“圖靈測(cè)試要求機(jī)器或技術(shù)表現(xiàn)出與人類相當(dāng)?shù)男袨椋斯?a target="_blank">智能級(jí)別的算法可以直接響應(yīng)人類智能的任何問題。

最初的計(jì)算機(jī)視覺深度學(xué)習(xí)架構(gòu)是由Kunihiko Fukushima在20世紀(jì)80年代引入的新認(rèn)知。作為一種人工神經(jīng)網(wǎng)絡(luò)，neocognitron已被用于手寫字符和模式識(shí)別任務(wù)，并作為通常用于分析視覺圖像的更復(fù)雜神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

開源深度學(xué)習(xí)軟件最早出現(xiàn)在20世紀(jì)90年代，當(dāng)時(shí)出現(xiàn)了許多關(guān)鍵的算法突破。從那時(shí)起，計(jì)算機(jī)科學(xué)家已經(jīng)能夠更好地利用巨大的計(jì)算能力和數(shù)據(jù)，這對(duì)神經(jīng)系統(tǒng)的形成至關(guān)重要網(wǎng)絡(luò)很好地工作。網(wǎng)上可用的開源軟件包括C/ c++和Java庫(kù)、框架和工具包。

Cyth Systems首席執(zhí)行官Andy Long解釋說:“十年前，當(dāng)深度學(xué)習(xí)軟件和相關(guān)硬件的能力遠(yuǎn)遠(yuǎn)不夠時(shí)，培訓(xùn)軟件進(jìn)行深度學(xué)習(xí)需要大約兩周的時(shí)間。到2014年，這花了大約兩天時(shí)間，現(xiàn)在不到一天。”

雄心勃勃的集成商和制造商傾向于從開源軟件開始，因?yàn)樗恍枰S可或特許權(quán)使用費(fèi)。在缺點(diǎn)方面，供應(yīng)商提供的技術(shù)支持很少，在網(wǎng)絡(luò)培訓(xùn)開始之前，最終用戶必須仔細(xì)地對(duì)幾百到幾千張數(shù)據(jù)集圖像進(jìn)行分類。

“Petry指出:“使用開源軟件開始深度學(xué)習(xí)實(shí)踐的公司需要一個(gè)真正專家，比如工程學(xué)博士。”即使這樣，用戶也很容易花6到12個(gè)月的時(shí)間來獲得適合應(yīng)用程序的軟件。還有一個(gè)問題是，當(dāng)需要檢查不同的零件或裝配過程發(fā)生變化時(shí)，必須重做軟件。

Brennan說，Artemis在兩個(gè)深度學(xué)習(xí)應(yīng)用程序中使用了開源軟件。在這兩種情況下，Artemis的工程師都需要對(duì)軟件進(jìn)行“大約2%”的修改和微調(diào)，以完全適應(yīng)每個(gè)應(yīng)用程序。

深度學(xué)習(xí)適用于機(jī)器視覺

隨著制造商需要更智能，準(zhǔn)確和可重復(fù)的視覺系統(tǒng)，深度學(xué)習(xí)軟件越來越受歡迎。終端用戶最收益的是軟件可以在幾分鐘內(nèi)自動(dòng)編程視覺系統(tǒng)。

深度學(xué)習(xí)最適合涉及可變形對(duì)象而非剛性對(duì)象的應(yīng)用。另一個(gè)好的應(yīng)用是驗(yàn)證在裝配體中存在顏色和紋理變化的許多部件。此外，傳統(tǒng)軟件要求被檢部件具有特定的公差范圍，而深度學(xué)習(xí)最好由最大且最清晰標(biāo)記的好的和壞的部分圖像數(shù)據(jù)集提供。

雖然深度學(xué)習(xí)通常被認(rèn)為是化妝品檢驗(yàn)應(yīng)用，但Petry說，它也非常擅長(zhǎng)確認(rèn)試劑盒中存在多個(gè)物品。例如，確保手術(shù)導(dǎo)管是醫(yī)療套件的一部分，而不管導(dǎo)管位于何處或其對(duì)相機(jī)的視角如何。

“從本質(zhì)上講，深度學(xué)習(xí)是應(yīng)用統(tǒng)計(jì)學(xué)的一項(xiàng)重要工作，”布倫南說。 “[神經(jīng)網(wǎng)絡(luò)中]每個(gè)節(jié)點(diǎn)的任務(wù)是統(tǒng)計(jì)地確定與好的或壞的部分最相關(guān)的圖像數(shù)據(jù)。神經(jīng)算法本身并不聰明，但它學(xué)會(huì)了以某種方式執(zhí)行預(yù)處理操作，以幫助軟件產(chǎn)生與人們告訴它正確的結(jié)果相匹配的結(jié)果。“

供應(yīng)商表示，對(duì)許多公司而言，深度學(xué)習(xí)已從實(shí)驗(yàn)階段進(jìn)入體驗(yàn)階段。這些制造商已經(jīng)親身體會(huì)到，并不是每個(gè)應(yīng)用程序都適合進(jìn)行深度學(xué)習(xí)，深度學(xué)習(xí)也不是能夠解決所有視覺應(yīng)用程序問題。

最終用戶通常希望對(duì)特定的應(yīng)用程序使用深度學(xué)習(xí)。然而，供應(yīng)商知道，為了確定這是最佳選擇，需要進(jìn)行幾項(xiàng)測(cè)試。軟件供應(yīng)商表示，深度學(xué)習(xí)軟件比標(biāo)準(zhǔn)軟件靈活得多。布倫南對(duì)此表示贊同，尤其是在照明方面。他說，深度學(xué)習(xí)能更好地通過降低圖像的可變性來控制圖像中的光線。

“他指出:“神經(jīng)網(wǎng)絡(luò)算法可以在明亮或昏暗的光線下分辨出好的和壞的圖像。”“他們能學(xué)會(huì)識(shí)別這些光線的差異并不重要，并能準(zhǔn)確地對(duì)好的和壞的部分進(jìn)行分類。”

Teledyne Dalsa亞太區(qū)技術(shù)總監(jiān)Yvon Bouchard表示，深度學(xué)習(xí)主要用于確保整個(gè)裝配過程的質(zhì)量，尤其是零件精加工和最終表面檢測(cè)等任務(wù)。有時(shí)它也被用來幫助“姿態(tài)估計(jì)”，或估計(jì)一個(gè)物體的位置和方向。這適用于組裝的部件可能沒有固定或在操作之前需要確定部件的方向。

Teledyne Dalsa的Sherlock 8.0軟件是一種快速應(yīng)用程序開發(fā)工具，它使用傳統(tǒng)的圖像處理功能，并具有深入的學(xué)習(xí)選項(xiàng)。該公司還為制造商獨(dú)特而苛刻的視覺應(yīng)用開發(fā)定制軟件和優(yōu)化的深度學(xué)習(xí)模型。

“Sherlock軟件更適合那些想要在一個(gè)簡(jiǎn)化基本視覺和深度學(xué)習(xí)過程的環(huán)境中進(jìn)行自己培訓(xùn)的用戶，”Bouchard解釋道。“關(guān)鍵在于，該軟件允許終端用戶訪問所有標(biāo)準(zhǔn)工具，并進(jìn)行深度學(xué)習(xí)，以生成特定的解決方案。在許多應(yīng)用中，傳統(tǒng)的視覺工具執(zhí)行部分檢查任務(wù)，而深度學(xué)習(xí)處理檢查中難以編碼的部分。”

Sherlock軟件與帶有單色或彩色格式成像儀的區(qū)域和線掃描相機(jī)兼容。它直接連接到火線，GigE和USB攝像頭。

Cyth Systems早在2008年就引入了神經(jīng)視覺（NV）軟件的第一個(gè)版本，但由于當(dāng)時(shí)的硬件和技術(shù)限制，它沒有像公司所希望的那樣執(zhí)行。然而到了2014年，第三代NV被開發(fā)出來并證明能夠更好地解決復(fù)雜的視覺問題。今天，近80％的Cyth客戶在他們的應(yīng)用程序中使用深度學(xué)習(xí)。

Long表示，這些客戶包括汽車，食品，航空航天，白色家電和電子產(chǎn)品制造商。后兩者使用深度學(xué)習(xí)進(jìn)行裝配驗(yàn)證，而航空航天公司則依靠它來確保無瑕疵的座椅和發(fā)動(dòng)機(jī)。

“幾年前，有機(jī)食品種植者開始使用我們?cè)谠擃I(lǐng)域的深度學(xué)習(xí)軟件來更好地分類其顏色變化過多的水果和蔬菜，”Long說。 “在汽車行業(yè)，一位客戶使用深度學(xué)習(xí)來驗(yàn)證每個(gè)座椅組件是否與正確的車輛一起使用。有些座椅的頭枕上有一個(gè)麥克風(fēng)，麥克風(fēng)在頭枕的每張訓(xùn)練照片上都有圓圈，因此軟件知道要查找什么。“

電子產(chǎn)品客戶使用深度學(xué)習(xí)來組裝和分類PCB，電阻器和晶體管。食品制造商依賴它，因此確保包裝始終具有最佳美觀并包含正確的食品。

在醫(yī)學(xué)領(lǐng)域，Artemis開發(fā)了一種深度學(xué)習(xí)應(yīng)用程序，以幫助制造商檢測(cè)焊接中的攪拌，該焊接將金屬銷連接到手術(shù)工具的末端鉗口。該工具密封容器以防止出血。

焊接在小而粗糙的表面區(qū)域上手動(dòng)完成，并在使用深度學(xué)習(xí)軟件之前通過標(biāo)準(zhǔn)機(jī)器視覺進(jìn)行驗(yàn)證。兩次檢查都在一個(gè)小型測(cè)試工作站中進(jìn)行。

另一項(xiàng)Artemis項(xiàng)目涉及使用深度學(xué)習(xí)軟件來檢測(cè)玻璃瓶中的微小缺陷。制藥最終用戶需要完美無缺的小瓶，可以容納材料而不會(huì)有任何泄漏。 Brennan說Artemis轉(zhuǎn)向深度學(xué)習(xí)，因?yàn)樗玫囟ㄎ粌H在某些角度下出現(xiàn)在光線下的缺陷。

“深度學(xué)習(xí)是確保產(chǎn)品質(zhì)量的好方法，例如在人們通常進(jìn)行某種檢查的應(yīng)用中，”Petry解釋道。 “在整個(gè)產(chǎn)品生產(chǎn)之后但在包裝之前驗(yàn)證組件也非常有用。例如，汽車前燈，徽章和輪子，裝滿各種食物或糖果的盒子，以及裝有支架，管子和夾子等物品的手術(shù)包。

兩年前，康耐視開始提供ViDi深度學(xué)習(xí)庫(kù)，并于去年與其旗艦視覺軟件產(chǎn)品VisionPro一起推出。該套件有四個(gè)基本工具：化妝品檢查，零件定位，分類和光學(xué)字符識(shí)別（OCR）。

康耐視ViDi可靠地讀取許多具有挑戰(zhàn)性的日期和批次代碼，以及浮雕和蝕刻文本。它還可以自動(dòng)檢查復(fù)雜的圖案織物并識(shí)別缺陷。

ViDi Blue-Locate算法定位零件，計(jì)算托盤上的半透明玻璃醫(yī)用瓶，并對(duì)套件和包進(jìn)行質(zhì)量控制檢查。 ViDi Red-通過了解目標(biāo)區(qū)域的不同外觀來分析缺陷或其他感興趣區(qū)域。

ViDi Green-Classify根據(jù)包裝識(shí)別產(chǎn)品，或?qū)山邮芑虿豢山邮艿漠惓＿M(jìn)行分類，例如焊縫質(zhì)量。最后，ViDi Blue-Read使用OCR解碼嚴(yán)重變形，偏斜和蝕刻不良的代碼。其預(yù)訓(xùn)練字體庫(kù)可識(shí)別大多數(shù)文本，無需額外的編程或字體訓(xùn)練。

Teledyne的一位客戶最近使用深度學(xué)習(xí)軟件來解決自動(dòng)裝配過程中涉及小螺釘?shù)膯栴}。由于螺釘未正確配合，公司會(huì)定期遇到停機(jī)，從而導(dǎo)致螺釘部分堵塞到組件中的交叉螺紋情況。

“雖然一些傳統(tǒng)的軟件可以檢查螺紋特性，但在這種情況下的問題是螺釘尖端已經(jīng)在主體上經(jīng)過模具和圓錐形尖頭穿過，”Bouchard說。 “深度學(xué)習(xí)是一個(gè)更好的選擇，因?yàn)榧舛说倪^渡區(qū)域可以有無數(shù)個(gè)可能的形狀。視覺系統(tǒng)可以顯示成千上萬個(gè)好的和壞的螺絲尖的例子，這樣可以更容易地快速判斷它是好還是壞。“

挑戰(zhàn)與未來

深度學(xué)習(xí)給最終用戶帶來了挑戰(zhàn)，而傳統(tǒng)視覺軟件無法輕松解決這些挑戰(zhàn)。 Bouchard表示，大多數(shù)用戶缺乏對(duì)深度學(xué)習(xí)取得成功所需要的理解。

“到目前為止，主要問題是缺乏高質(zhì)量，適當(dāng)分類的圖像，”Bouchard說。 “典型的深度學(xué)習(xí)應(yīng)用程序需要數(shù)百甚至數(shù)千個(gè)圖像樣本。在更困難的情況下或自定義應(yīng)用程序中，訓(xùn)練模型可能需要多達(dá)一百萬或更多的圖像樣本。“

龍說，制造商對(duì)深度學(xué)習(xí)的期望是理想主義和現(xiàn)實(shí)主義的混合體。這就是他為每個(gè)客戶提前解釋其限制和基本流程的原因。 Cyth還對(duì)每個(gè)應(yīng)用程序進(jìn)行了視覺研究，以確定它是否真的是深度學(xué)習(xí)的候選者。

“該公司向我們發(fā)送了要拍照的部件，我們會(huì)為每個(gè)部件生成50到100個(gè)好的和壞的圖像，”Long解釋道。 “在我們的測(cè)試之后，我們讓他們知道基于假陰性和誤報(bào)百分比的深度學(xué)習(xí)的成功概率。太多的假陰性令人討厭，但過多的誤報(bào)會(huì)導(dǎo)致產(chǎn)品質(zhì)量問題。“

與其他軟件不同，Cyth的神經(jīng)視覺平臺(tái)從生產(chǎn)環(huán)境中捕獲圖像，并將這些標(biāo)記的數(shù)據(jù)集發(fā)送到云進(jìn)行離線處理。然后將圖像發(fā)送回PC，并對(duì)軟件進(jìn)行培訓(xùn)，以便對(duì)裝配線上的零件進(jìn)行深度學(xué)習(xí)檢查。

Long說這些圖像是通過紅外線，3D，線掃描或智能相機(jī)拍攝的。該軟件僅需25毫秒來分析圖像并確定部件是好（綠色檢查）還是壞（紅叉）。

根據(jù)Long的說法，任何擁有產(chǎn)品知識(shí)的人都可以訓(xùn)練系統(tǒng)運(yùn)行，并且始終如一提供可重復(fù)的結(jié)果。該軟件還允許最終用戶輕松推出新應(yīng)用程序，引用舊應(yīng)用程序并訪問所有檢查結(jié)果以進(jìn)行統(tǒng)計(jì)分析。

Inspekto的S70自動(dòng)機(jī)器視覺系統(tǒng)使用一系列深度學(xué)習(xí)引擎作為其Plug and Inspect軟件的一部分。它可以快速（30到60分鐘）并且經(jīng)濟(jì)高效地安裝和設(shè)置，無需任何階段的集成商或人工智能專家。緊湊型系統(tǒng)包括先進(jìn)的視覺傳感器和鏡頭，照明設(shè)備和一組可調(diào)節(jié)臂。

最終用戶不需要設(shè)置任何質(zhì)量保證參數(shù)，因?yàn)橄到y(tǒng)自動(dòng)適應(yīng)檢查項(xiàng)目。此外，由于該系統(tǒng)與生產(chǎn)線整合，并且足夠堅(jiān)固，不受任何環(huán)境和環(huán)境影響，因此無需將特殊結(jié)構(gòu)放置到位。

該系統(tǒng)已經(jīng)在歐洲各地的工廠中使用，并且每天都要為Mahle等領(lǐng)先的汽車零部件制造商檢查數(shù)十萬種產(chǎn)品。 Inspekto的首席技術(shù)官Yonatan Hyatt表示，它提供了越來越多的應(yīng)用程序，包括完整的歸檔和可追溯性，并且足夠準(zhǔn)確，無需將產(chǎn)品脫機(jī)進(jìn)行檢查。此外，該系統(tǒng)可用于手動(dòng)裝配線，以確保操作員正確執(zhí)行每項(xiàng)任務(wù)。

“非自動(dòng)機(jī)器視覺系統(tǒng)的最終用戶沒有直接與視覺質(zhì)量保證解決方案（集成商）為生產(chǎn)線開發(fā)，并且[可能]對(duì)當(dāng)代深度學(xué)習(xí)軟件的期望有限，”首席執(zhí)行官Harel Boren說。 Inspekto。 “但是，他們確實(shí)希望軟件[提供]集成商承諾的解決方案。或者使用深度學(xué)習(xí)引擎陣列的自主視覺系統(tǒng)將徹底解決他們的問題。“