01

目標(biāo)和概述

傳統(tǒng)的生產(chǎn)線對(duì)人工判斷監(jiān)測(cè)依賴程度高，人工作業(yè)存在疲勞以及評(píng)判標(biāo)準(zhǔn)的不一。對(duì)企業(yè)生產(chǎn)商來(lái)說(shuō)無(wú)法實(shí)現(xiàn)有效質(zhì)量監(jiān)管， 大批量的次品流入消費(fèi)者市場(chǎng)必然會(huì)引起客訴，進(jìn)而影響品牌方生產(chǎn)企業(yè)的形象。

以糧油生產(chǎn)為例，目前行業(yè)對(duì)于包裝袋的縫線識(shí)別，大多工廠僅依靠人工目檢完成，自動(dòng)化程度低。在這種情況下，博觀糧油機(jī)器視覺(jué)解決方案的應(yīng)用落地，采用視覺(jué)大模型的低代碼算法訓(xùn)練平臺(tái)能夠快速實(shí)現(xiàn)流水線所需碎片化算法訓(xùn)練，提高檢測(cè)精度， 減輕糧油工廠的人力成本，從生產(chǎn)環(huán)節(jié)入手創(chuàng)造更多價(jià)值，助力工廠降本增效，推動(dòng)糧食加工企業(yè)向規(guī)模化生產(chǎn)和集約化經(jīng)營(yíng)方向轉(zhuǎn)變，實(shí)現(xiàn)智慧升級(jí)，綜合來(lái)看具有較高的場(chǎng)景價(jià)值性。

博觀糧油機(jī)器視覺(jué)解決方案，借助機(jī)器視覺(jué)質(zhì)檢平臺(tái)，以網(wǎng)絡(luò)覆蓋智能制造工廠為切入點(diǎn)，從行業(yè)生產(chǎn)線視覺(jué)外觀缺陷檢測(cè)和字符信息識(shí)別兩大方面入手進(jìn)行功能提升，整體視覺(jué)方案除應(yīng)用于糧油生產(chǎn)以外，未來(lái)還可應(yīng)用于3C電子、新能源等行業(yè)。該方案在不改變現(xiàn) 有工廠生產(chǎn)制造流水線的前提下，定制化提供機(jī)器視覺(jué)硬件外設(shè)環(huán)境，依靠獨(dú)立開(kāi)發(fā)的深度學(xué)習(xí)算法檢測(cè)平臺(tái)MVIP和視覺(jué)業(yè)務(wù)軟件BreVision，智能化實(shí)現(xiàn)視覺(jué)檢測(cè)代替人工檢測(cè)的需求，達(dá)到工廠降本增效和柔性生產(chǎn)的目標(biāo)。

02方案介紹

2.1.核心技術(shù)

2.1.1.OCR字符檢測(cè)識(shí)別

OCR檢測(cè)獲取的面粉袋噴印側(cè)圖像， 如圖1 所示，可識(shí)別生產(chǎn)日期、合格信檢息測(cè)等，并可判斷字符的完整性。

OCR檢測(cè)

△ 端到端識(shí)別算法

該項(xiàng)目采用了端到端的字符識(shí)別技術(shù)，以保證整個(gè)功能的高效、準(zhǔn)確。區(qū)別于傳統(tǒng)的識(shí)別算法，如圖2所示，端到端識(shí)別算法無(wú)需文字定位、定點(diǎn)、識(shí)別多個(gè)步驟，僅需輸入原始圖像即可輸出識(shí)別結(jié)果，在節(jié)約耗時(shí)的同時(shí)最大程度挖掘可用信息。

端到端識(shí)別算法

△圖像增強(qiáng)&修復(fù)技術(shù)

在工業(yè)視覺(jué)領(lǐng)域，圖像的清晰度一直是一個(gè)關(guān)鍵問(wèn)題，受限于應(yīng)用場(chǎng)景、工業(yè)攝像頭的成像質(zhì)量，獲取的初始圖像往往不會(huì)非常清晰。為了應(yīng)對(duì)這樣的問(wèn)題，該項(xiàng)目加入了基于深度學(xué)習(xí)的圖像增強(qiáng)與修復(fù)技術(shù)，在識(shí)別算法的開(kāi)端加入該模塊，如圖3所示，從根本上解決字符不清晰或字符有污損的問(wèn)題。

圖像增強(qiáng)與修復(fù)

△完整性判斷

在實(shí)際應(yīng)用中，經(jīng)常面臨的另一個(gè)問(wèn)題是字符不完整和缺位數(shù)問(wèn)題，為此該項(xiàng)目引入完整性判斷模塊，根據(jù)字符的分布、深層圖像信息，確定送入的字符塊是否完整。若出現(xiàn)字符明顯殘缺，則判斷為異常樣本，進(jìn)行告警。

總之，OCR算法在工業(yè)場(chǎng)景需要保持高穩(wěn)定、高精度和可復(fù)制性，便于支持工業(yè)環(huán)境中不同產(chǎn)線的要 求，比如全天候光線變化、褶皺導(dǎo)致字體變形、噴碼在畫面任意位置、字體格式、不同大小等情況，在為企業(yè)降本增效的同時(shí)，做到智能化設(shè)備本身的成本控制。

2.1.2.縫線完整性缺陷檢測(cè)識(shí)別

縫線檢測(cè)

縫線檢測(cè)通過(guò)配置ROI區(qū)域，獲取面粉袋的注意力區(qū)域，通過(guò)異常抓拍的識(shí)別模型判斷是否為正常拍攝的圖像，最后通過(guò)縫線異常判斷模型，檢測(cè)其縫線是否完整，如圖4所示。

△滑動(dòng)ROI

在ROI配置過(guò)程中，由于面粉袋位置發(fā)生移動(dòng)和扭曲，導(dǎo)致配置的ROI區(qū)域并不準(zhǔn)確，出現(xiàn)大量無(wú)效的背景影響判別效果。為解決此問(wèn)題，在實(shí)際使用過(guò)程中， 使用滑動(dòng)ROI，算法會(huì)根據(jù)面粉袋的邊緣位置得到較為準(zhǔn)確的封口區(qū)域，如圖5所示。

滑動(dòng)ROI

△異常拍攝判斷

由于生產(chǎn)現(xiàn)場(chǎng)的復(fù)雜環(huán)境以及相機(jī)拍攝的不確定性，實(shí)際情況中會(huì)時(shí)而出現(xiàn)異常拍攝的數(shù)據(jù)，例如未拍攝到面粉袋、拍攝的面粉袋不完全、拍攝到工作人員等等。這些異常數(shù)據(jù)會(huì)對(duì)檢測(cè)算法產(chǎn)生干擾，從而影響最終效果，所以算法需要先判斷是否為正常拍攝圖像，剔除異常拍攝圖片后可大大提升算法精度。如圖6所示， 分別為正常拍攝、拍攝部分袋子和設(shè)備空拍的圖像。在實(shí)際使用時(shí)，加入異常拍攝判斷，存在空拍時(shí)進(jìn)行算法剔除。

異常拍攝圖像

△縫線異常判斷

通過(guò)上述流程之后，圖片被送入最終的縫線檢測(cè)模型，判別封口是否縫上，保證面粉在運(yùn)輸過(guò)程中，不發(fā)生灑、漏等問(wèn)題。此過(guò)程中會(huì)出現(xiàn)跳線、彎曲、褶皺、小口、過(guò)曝、過(guò)暗等各種形態(tài)的樣本，如圖7所示。多種形態(tài)的樣本會(huì)嚴(yán)重影響判別的精度。

各類樣本

對(duì)于縫線異常判斷，精度要求較高，負(fù)樣本形態(tài)各異，并且難以收集，同時(shí)褶皺、彎曲、光線環(huán)境差都使得縫線位置判斷困難，而多種多樣的負(fù)樣本類型需要模型去學(xué)習(xí)更多的特征，但負(fù)樣本難以收集，數(shù)量較少。針對(duì)這些不同類型的情況，該項(xiàng)目設(shè)計(jì)了不同的數(shù)據(jù)增廣、網(wǎng)絡(luò)算子和損失函數(shù)，并通過(guò)實(shí)驗(yàn)表明，可以有效解決上述各類問(wèn)題。

2.1.3.在線檢測(cè)

△整體流程

MVIP深度學(xué)習(xí)機(jī)器視覺(jué)檢測(cè)平臺(tái)，首先通過(guò)海量的媒體數(shù)據(jù)+獨(dú)創(chuàng)的大規(guī)模多模態(tài)算法模型，使得大模型從海量視頻數(shù)據(jù)中實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)通識(shí)知識(shí)，結(jié)合Few-ShotLearning等小樣本學(xué)習(xí)算法，本平臺(tái)可在幾百?gòu)垬颖緢D片下達(dá)到下游常見(jiàn)任務(wù)90+%的精度。無(wú)損高速地傳輸給服務(wù)器端。在 服務(wù)器端我們將進(jìn)行強(qiáng)大的算法模型檢測(cè)，包括縫線檢測(cè)、文本檢測(cè)和文本識(shí)別等一系列算法，然后將迭代后的模型再次使用5G傳輸技術(shù)傳輸給邊緣側(cè)設(shè)備，供模型實(shí)時(shí)更新強(qiáng)化。

△技術(shù)原理

MVIP深度學(xué)習(xí)機(jī)器視覺(jué)檢測(cè)平臺(tái)的核心技術(shù)是博觀獨(dú)創(chuàng)的在線學(xué)習(xí)算法，該方法通過(guò)離線模型做離線識(shí)別，同時(shí)使用監(jiān)督模型協(xié)助監(jiān)督。在實(shí)際應(yīng)用中，將監(jiān)督模型給出的得分低于閾值的識(shí)別圖像無(wú)損地保存在在線學(xué)習(xí)素材庫(kù)內(nèi)。設(shè)備運(yùn)行一段時(shí)間后，算法自動(dòng)統(tǒng)計(jì)運(yùn)行規(guī)律找出低頻率識(shí)別時(shí)段，并在素材庫(kù)滿足一定條件后，啟動(dòng)凍結(jié)式網(wǎng)絡(luò)參數(shù)迭代更新在線學(xué)習(xí)，讓離線模型不斷完善自身“弱點(diǎn)”，從而達(dá)到在線學(xué)習(xí)的優(yōu)化效果。

△技術(shù)優(yōu)勢(shì)

MVIP深度學(xué)習(xí)機(jī)器視覺(jué)檢測(cè)平臺(tái)場(chǎng)景適應(yīng)能力極強(qiáng)，模型魯棒性高，可輕松應(yīng)對(duì)各種新場(chǎng)景。在識(shí)別劣勢(shì)的場(chǎng)景下可自動(dòng)啟用在線學(xué)習(xí)系統(tǒng)，不影響設(shè)備正常運(yùn)行的情況下，在較短的時(shí)間內(nèi)完善模型快速提升識(shí)別率。搭載 5G技術(shù)，使數(shù)據(jù)在前端與服務(wù)器端不丟包傳輸并且可加速在線學(xué)習(xí)素材讀取速度，促進(jìn)了算法的高效性和實(shí)時(shí)性。

在實(shí)際應(yīng)用中，算法同時(shí)處理對(duì)面粉袋的縫線檢測(cè)和面粉袋上文本識(shí)別兩種需求，通過(guò)在線學(xué)習(xí)方式，實(shí)時(shí)更新識(shí)別算法，提升算法魯棒性，從而高效精準(zhǔn)地完成整體算法運(yùn)算。

2.2.系統(tǒng)架構(gòu)

MVIP深度學(xué)習(xí)機(jī)器視覺(jué)檢測(cè)平臺(tái)助力的生產(chǎn)環(huán)節(jié)技術(shù)如下：

面粉在港裝到面粉袋后，面粉袋通過(guò)流水線輸送到噴碼機(jī)處，自動(dòng)噴碼生產(chǎn)日期和批次號(hào)等OCR信息到面粉袋外包裝上，然后輸送到縫紉機(jī)處封好縫線，后續(xù)流水線進(jìn)入機(jī)器視覺(jué)智能化系統(tǒng)識(shí)別區(qū)，通過(guò)機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)OCR的識(shí)別和封口縫線質(zhì)量檢測(cè)。

具體解決方案依靠光電傳感器觸發(fā)工業(yè)相機(jī)拍照，工業(yè)光源穩(wěn)定照射到OCR區(qū)以及封口縫線區(qū)，得到各自拍攝到的視覺(jué)圖片，視覺(jué)檢測(cè)系統(tǒng)并行將相機(jī)采集到的圖像通過(guò)深度學(xué)習(xí)的算法進(jìn)行識(shí)別和檢測(cè)，判定面粉袋的質(zhì)量狀態(tài)，并通過(guò)視覺(jué)軟件可視化展示，同時(shí)把結(jié)果通過(guò)通信的手段給到執(zhí)行機(jī)構(gòu)信號(hào)并分揀生產(chǎn)的合格品和次品。

這解決方案系統(tǒng)架構(gòu)自下而上主要分為采集層、邊緣計(jì)算層、應(yīng)用層三層，其體邏輯架構(gòu)如圖8所示。

博觀糧油機(jī)器視覺(jué)解決方案系統(tǒng)架構(gòu)

2.3.軟硬件部署

這解決方案在前端部署硬件視覺(jué)產(chǎn)品，利用AI算法賦能機(jī)器視覺(jué)一體機(jī)，實(shí)現(xiàn)高效的圖片采集回傳。基于BreVision視覺(jué)業(yè)務(wù)軟件對(duì)圖片進(jìn)行分析，可以檢測(cè)出廠的每袋面粉的生產(chǎn)日期和批次號(hào)的正確性BreVision視覺(jué)業(yè)務(wù)軟件是一款基于深度學(xué)習(xí)的智能工業(yè)視覺(jué)軟件平臺(tái)，專門用于解決復(fù)雜缺陷的定位、檢測(cè)、分類等問(wèn)題，同時(shí)具備高效準(zhǔn)確的字符識(shí)別能力，可適用于各類復(fù)雜應(yīng)用場(chǎng)景，這解決方案軟硬件部署如圖9所示。

博觀整體視覺(jué)方案

03代表性及推廣價(jià)值

3.1.應(yīng)用情況及效果

目前，博觀糧油機(jī)器視覺(jué)解決方案已經(jīng)在國(guó)內(nèi)某知名糧油工廠實(shí)現(xiàn)落地，賦能后共計(jì)覆蓋30+條生產(chǎn)流水線，節(jié)省30+人力，并且從人工目檢每條生產(chǎn)線8000多袋/天的生產(chǎn)能力，提升到應(yīng)用機(jī)器視覺(jué)檢測(cè)后每條生產(chǎn)線20000多袋/天的生產(chǎn)能力，生產(chǎn)效率提升150%， 有效實(shí)現(xiàn)了生產(chǎn)設(shè)備滿時(shí)運(yùn)轉(zhuǎn)的工作狀態(tài)。

3.2.創(chuàng)新性

3.2.1.技術(shù)的示范效應(yīng)

該方案中的機(jī)器視覺(jué)質(zhì)檢平臺(tái)依靠深度學(xué)習(xí)算法， 能高效檢測(cè)糧油生產(chǎn)中的包裝袋破損問(wèn)題，精準(zhǔn)識(shí)別OCR信息，已達(dá)到<0.1%的過(guò)檢率和0%的漏檢率，方案后續(xù)可以投入于國(guó)內(nèi)更多的糧油加工企業(yè)及糧食行 業(yè)。我國(guó)是農(nóng)業(yè)大國(guó)，糧食行業(yè)是直接與農(nóng)業(yè)生產(chǎn)相關(guān)的基礎(chǔ)行業(yè)，存在大量機(jī)器視覺(jué)替換人工檢測(cè)的潛在需求。該方案能夠利用高性價(jià)比的機(jī)器視覺(jué)幫助眾多糧油企業(yè)降低人力成本，促進(jìn)柔性生產(chǎn)，帶動(dòng)智能化轉(zhuǎn)型升級(jí)，應(yīng)用前景廣闊，市場(chǎng)推廣規(guī)模巨大。

3.2.2.商業(yè)價(jià)值

近年來(lái)，在制造業(yè)向自動(dòng)化、智能化升級(jí)轉(zhuǎn)型的趨勢(shì)下，機(jī)器視覺(jué)擁有著千億規(guī)模的市場(chǎng)前景。但目前在工業(yè)領(lǐng)域，將AI融入機(jī)器視覺(jué)算法中的嘗試剛剛起步， 在全球范圍尚處于摸索起步階段，本項(xiàng)目的成功應(yīng)用給行業(yè)內(nèi)客戶提供了比較有借鑒意義的案例。

博觀機(jī)器視覺(jué)質(zhì)檢平臺(tái)計(jì)劃在不斷通過(guò)人工智能算法優(yōu)化來(lái)進(jìn)一步提升機(jī)器視覺(jué)設(shè)備的泛化性和準(zhǔn)確性，讓人工智能更穩(wěn)定地應(yīng)用于工業(yè)現(xiàn)場(chǎng)的惡劣環(huán)境中，對(duì)于提升整體工業(yè)制造的智能化水平也頗具意義。該機(jī)器視覺(jué)質(zhì)檢平臺(tái)探索的路徑是，結(jié)合客戶的痛點(diǎn)以及AI算法的能力，將兩者合二為一，采用最高效的方式來(lái)不斷地提高工業(yè)場(chǎng)景的生產(chǎn)效率。未來(lái)博觀將在智能制造、高端裝備、自動(dòng)化設(shè)備等行業(yè)探尋更多技術(shù)深化和項(xiàng)目合作。

3.2.3.社會(huì)價(jià)值

△節(jié)約人力成本

從長(zhǎng)期來(lái)看，伴隨日益嚴(yán)重的人口老齡化趨勢(shì)， 人員短缺、勞動(dòng)力價(jià)格上漲的狀態(tài)還將持續(xù)，這都在無(wú)形之中加劇企業(yè)的生產(chǎn)成本。博觀糧油機(jī)器視覺(jué)解決方案的落地應(yīng)用，能夠?qū)崿F(xiàn)機(jī)器視覺(jué)對(duì)人工檢測(cè)的有效替代，減輕糧油生產(chǎn)過(guò)程中對(duì)傳統(tǒng)人力的依賴性，能夠?yàn)槠髽I(yè)節(jié)約大量的人力成本，緩解因人工成本上漲而帶來(lái)的生產(chǎn)壓力，加快降本增效。

△減少糧食資源浪費(fèi)

在人多地少的基本國(guó)情下，節(jié)約糧食是保障14億 人糧食安全的戰(zhàn)略選擇。然而，我國(guó)糧食損耗浪費(fèi)現(xiàn)象嚴(yán)重，糧食供給端存在資源配置效率偏低的問(wèn)題。據(jù)聯(lián)合國(guó)糧農(nóng)組織估計(jì)，我國(guó)每年僅在糧食收獲、運(yùn)輸、儲(chǔ)存、加工過(guò)程中造成的損失浪費(fèi)，就達(dá)到糧食總量的6%。博觀糧油機(jī)器視覺(jué)解決方案通過(guò)機(jī)器視覺(jué)質(zhì)檢， 在發(fā)現(xiàn)包裝袋斷線、漏縫等多種殘次問(wèn)題后，能做到第一時(shí)間報(bào)警并剔除，解決了傳統(tǒng)人工檢測(cè)帶來(lái)的產(chǎn)品品質(zhì)波動(dòng)問(wèn)題，減少了因包裝袋破損產(chǎn)生的糧食損耗，在保證產(chǎn)品良品率的同時(shí)避免了原材料浪費(fèi)。

△保障糧食生產(chǎn)安全

保障糧食安全，不僅要從源頭出發(fā)保證原材料的 安全，還要加強(qiáng)對(duì)加工制造過(guò)程的檢驗(yàn)檢查。包裝袋開(kāi)口、破損等加工過(guò)程中常見(jiàn)的問(wèn)題容易引發(fā)袋內(nèi)糧品污染，保質(zhì)期縮短，還會(huì)招致發(fā)霉蟲害等，威脅人民健 康。博觀糧油機(jī)器視覺(jué)解決方案，借助人工智能、機(jī)器視覺(jué)、云計(jì)算等先進(jìn)技術(shù)，高效檢測(cè)包裝袋破損問(wèn)題 并及時(shí)告警相關(guān)人員處理，實(shí)現(xiàn)了糧油工廠的智能化管控，為糧食生產(chǎn)安全保駕護(hù)航。

審核編輯 ：李倩