簡(jiǎn)介

工業(yè)機(jī)器視覺(jué)的目標(biāo)之一是開(kāi)發(fā)計(jì)算機(jī)和電子系統(tǒng)在工業(yè)生產(chǎn)質(zhì)量控制中取代人類視覺(jué)。網(wǎng)絡(luò)檢查系統(tǒng)目前用于許多應(yīng)用中的缺陷檢測(cè)和質(zhì)量控制，例如高壓電纜絕緣，紙張，塑料袋，帶鋼，燃料芯塊，芯片包裝，木材，布料和織機(jī)的制造。自動(dòng)檢測(cè)系統(tǒng)與手動(dòng)檢查相比具有許多優(yōu)點(diǎn)。手工檢查表面缺陷是一項(xiàng)繁瑣的工作（如果不是不可能的話） - 通常是因?yàn)樵S多缺陷的尺寸很小，而且要檢查的區(qū)域非常大。

傳統(tǒng)的檢測(cè)系統(tǒng)包括線掃描相機(jī)，主機(jī)，圖像采集卡和一個(gè)或多個(gè)專用處理電路板。在本文中，我們將討論用于實(shí)時(shí)缺陷檢測(cè)的新集成設(shè)計(jì)環(huán)境的開(kāi)發(fā) - 無(wú)需外部幀抓取器，并消除或減少對(duì)其他相關(guān)主機(jī)外圍系統(tǒng)的需求。包含可重新配置的現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）的處理板安裝在DALSA CCD相機(jī)內(nèi)。 FPGA直接連接到視頻數(shù)據(jù)流，并將數(shù)據(jù)輸出到相關(guān)的ADI Blackfin型ADSP-BF535P處理器，以便進(jìn)一步處理。單獨(dú)使用FPGA進(jìn)行低級(jí)處理代表了軟件和專用硬件實(shí)現(xiàn)之間的良好折衷。處理后的數(shù)據(jù)可以通過(guò)USB或Firewire端口傳輸?shù)絇C進(jìn)行存儲(chǔ)，監(jiān)控和其他處理。本系統(tǒng)的目標(biāo)是網(wǎng)絡(luò)檢查，但具有更廣泛的適用性。圖1顯示了一個(gè)沒(méi)有幀抓取器的工業(yè)檢測(cè)系統(tǒng)的基本框圖。

缺陷檢測(cè)任務(wù)被委托給兩個(gè)算法。第一個(gè)（預(yù)處理）承擔(dān)保守過(guò)濾器的角色。其目標(biāo)是檢測(cè)所有可能的缺陷。該任務(wù)將主要使用FPGA作為視頻流濾波器實(shí)時(shí)執(zhí)行。這里的目的是提供一種快速識(shí)別可能或可能不會(huì)被歸類為有缺陷的可疑區(qū)域的可靠方法。在后處理中，我們的目標(biāo)是使用ADI Blackfin ADSP-BF535P處理器識(shí)別缺陷的類型和嚴(yán)重程度。通常后一個(gè)過(guò)程是在主機(jī)上進(jìn)行的，但是使用功能強(qiáng)大的ADI Blackfin處理器，可以在修改后的攝像機(jī)系統(tǒng)本地完成該過(guò)程的重要部分。

為實(shí)時(shí)應(yīng)用程序（例如Web檢查）建立適當(dāng)?shù)挠?jì)算環(huán)境是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。在本文中，“實(shí)時(shí)”描述了能夠接收和處理連續(xù)視頻數(shù)據(jù)的任何成像系統(tǒng)。實(shí)時(shí)系統(tǒng)必須在分配的關(guān)鍵時(shí)間范圍內(nèi)執(zhí)行所有必需的操作。即使在極端系統(tǒng)負(fù)載的情況下，系統(tǒng)響應(yīng)的執(zhí)行時(shí)間和邏輯順序也必須正確。本說(shuō)明中描述的系統(tǒng)可實(shí)現(xiàn)每秒多達(dá)30百萬(wàn)樣本的實(shí)時(shí)視頻處理。

測(cè)試設(shè)置

模擬測(cè)試夾具已經(jīng)建立了一個(gè)帶有變速操作裝置的卷筒紙制造工藝，如圖2所示。測(cè)試裝置包括一個(gè)DALSA TDI線掃描相機(jī)，一個(gè)帶有用于TDI同步的軸編碼器的電動(dòng)滾筒，以及一個(gè)帶有直流光源的直流光源。光纖光導(dǎo)。我們的FPGA / DSP處理板安裝在常規(guī)攝像機(jī)控制板上方。來(lái)自各種Web源的缺陷樣本用于測(cè)試和驗(yàn)證候選算法。

硬件

完整的硬件組件如圖3所示。

< img src>

圖4顯示了處理系統(tǒng)的框圖。來(lái)自FPGA的預(yù)處理數(shù)據(jù)存儲(chǔ)在FIFO中，F(xiàn)IFO緩沖數(shù)據(jù)以供數(shù)字信號(hào)處理器（DSP）進(jìn)一步處理。處理硬件組件包括三個(gè)PCB-- FPGA板，DSP板和用于連接PC的USB / Firewire板。其他資源由董事會(huì)共享。

FPGA與DSP

我們的處理板支持FPGA或DSP或兩者的處理。如何選擇應(yīng)用程序處理能力的配置？

DSP是一種專用微處理器，通常用C語(yǔ)言編寫(xiě)，偶爾使用匯編代碼來(lái)提高系統(tǒng)性能。 DSP非常適合極其復(fù)雜的數(shù)學(xué)密集型任務(wù)，涉及條件處理。它的性能受時(shí)鐘速率和每個(gè)時(shí)鐘可以執(zhí)行的有用操作數(shù)量的限制。相比之下，F(xiàn)PGA是未提交的“門(mén)之?！?。通過(guò)將門(mén)連接在一起以形成乘法器，寄存器，加法器等來(lái)對(duì)器件進(jìn)行編程。數(shù)學(xué)是通過(guò)互連這些構(gòu)建塊在硬件中完成的。這些塊的復(fù)雜程度可以從單個(gè)柵極到非常高的FIR濾波器級(jí)別，也可以是FFT給定的足夠的柵極以及互連它們的能力。性能受到芯片上可用門(mén)數(shù)和時(shí)鐘速率的限制。

FPGA和DSP因此代表了兩種截然不同的信號(hào)處理方法 - 每種方法都具有不同的優(yōu)勢(shì)。 FPGA可以輕松實(shí)現(xiàn)許多高采樣率應(yīng)用，但DSP不適用。同樣地，存在許多復(fù)雜的軟件問(wèn)題 - 易于DSP - FPGA無(wú)法解決這些問(wèn)題。

由于這些互補(bǔ)特性，理想的系統(tǒng)將分離FPGA與數(shù)字信號(hào)處理器之間的工作。在我們的網(wǎng)絡(luò)檢查系統(tǒng)中，圖像本身上的大多數(shù)操作都很簡(jiǎn)單且非常重復(fù);所以這些原始操作最好在FPGA中實(shí)現(xiàn)。然而，成像管道通常用于識(shí)別被檢查對(duì)象中的“斑點(diǎn)”或“感興趣區(qū)域”。這些斑點(diǎn)的大小可以變化，因此后續(xù)處理往往更復(fù)雜。使用的算法通常是自適應(yīng)，具體取決于blob的結(jié)果。考慮到所有因素，基于DSP的方法通常在成像流水線的后端更有效。

Xilinx Spartan IIE系列FPGA用于我們的系統(tǒng)，因?yàn)樗哂蓄~外的可配置邏輯塊（CLB）功能，可以更快的速度運(yùn)行，用于基于存儲(chǔ)器的設(shè)計(jì) - 并且它支持系統(tǒng)時(shí)鐘速率最高200 MHz。 CLB包括四輸入函數(shù)發(fā)生器，進(jìn)位邏輯和存儲(chǔ)元件。每個(gè)CLB還包含組合函數(shù)發(fā)生器以提供五個(gè)或六個(gè)輸入功能的邏輯。

目前我們的設(shè)計(jì)使用XC2S200E，它具有5292個(gè)邏輯單元和200K系統(tǒng)門(mén)。該FPGA具有足夠的資源用于我們的許多目標(biāo)應(yīng)用，并且適合打包以構(gòu)建單板相機(jī)內(nèi)系統(tǒng)。

選擇合適的DSP

這非常重要為我們的應(yīng)用選擇合適的處理器。正確的外設(shè)和開(kāi)發(fā)工具的功耗，成本和封裝，速度，性能和可用性是我們決定選擇ADSP-BF535P的主要因素。

ADSP-BF535P是Analog的成員器件Blackfin DSP產(chǎn)品系列。它將雙MAC DSP引擎，RISC類微處理器指令集和單指令多數(shù)據(jù)（SIMD）多媒體功能整合到一個(gè)指令集架構(gòu)中。

電源

電源在網(wǎng)絡(luò)檢測(cè)系統(tǒng)中發(fā)揮著重要作用。在現(xiàn)場(chǎng)使用十幾個(gè)這樣的相機(jī)并不罕見(jiàn)。可能存在不需要通過(guò)DSP進(jìn)一步處理數(shù)據(jù)的應(yīng)用程序，或者應(yīng)用程序可以以較低的DSP時(shí)鐘速度運(yùn)行。通過(guò)使用ADSP-BF535P，我們不需要為了性能而犧牲功率。在Blackfin ADSP-BF535P中，可以通過(guò)降低核心電壓和頻率來(lái)降低功耗。為此，外部配套電源管理芯片ADP3053可用于動(dòng)態(tài)控制核心電壓電平。 Blackfin DSP通過(guò)動(dòng)態(tài)調(diào)度每個(gè)外設(shè)的時(shí)鐘輸入，提供額外的功率控制功能。此外，內(nèi)部時(shí)鐘僅路由到設(shè)備的啟用部分。例如，256KB片上L2存儲(chǔ)器被分成8個(gè)32KB存儲(chǔ)體。此功能可以降低功耗，因?yàn)檫@些存儲(chǔ)區(qū)僅在訪問(wèn)時(shí)才會(huì)計(jì)時(shí)。

成本和封裝

Blackfin ADSP-BF535P是一種通用DSP遠(yuǎn)遠(yuǎn)低于其最接近的數(shù)字處理同行。在這個(gè)應(yīng)用中，其緊湊的PBGA260封裝格式非常適合我們的3.5“×3.5”P(pán)CB。

速度

Web檢測(cè)系統(tǒng)要求使用密集的實(shí)時(shí)算法處理應(yīng)用程序。因此，需要快速可編程的通用數(shù)字信號(hào)處理器來(lái)處理高速數(shù)據(jù)速率帶來(lái)的挑戰(zhàn)。 ADSP-BF535P的最大內(nèi)核時(shí)鐘（CCLK）為350 MHz。我們能夠以300 MHz成功運(yùn)行我們的應(yīng)用程序（在某些情況下減少功率）。 CCLK脈沖通過(guò)PLL產(chǎn)生，CCLK與系統(tǒng)時(shí)鐘（SCLK）的比率為1至31.使用20MHz外部振蕩器，我們能夠?qū)崿F(xiàn)300 MHz的CCLK。根據(jù)CCLK，可以實(shí)現(xiàn)133 MHz的最大SCLK。

性能

Blackfin處理器經(jīng)過(guò)高度優(yōu)化，可高效執(zhí)行DSP應(yīng)用程序代碼。在圖像處理應(yīng)用中，我們通常處理不同大小和種類的濾波器（無(wú)限脈沖響應(yīng)，IIR;和有限脈沖響應(yīng)，F(xiàn)IR）或應(yīng)用快速傅立葉將（FFT）轉(zhuǎn)換為數(shù)據(jù)。表1顯示了在ADSP-BF535P上完成的一些基準(zhǔn)測(cè)試。

表1. ADSP-BF535P信號(hào)處理算法基準(zhǔn)測(cè)試。

外圍設(shè)備

ADSP-21535P包含一組豐富的外設(shè)，通過(guò)多條高帶寬總線連接到內(nèi)核，提供系統(tǒng)配置的靈活性和出色的整體系統(tǒng)性能。它提供USB和PCI總線，無(wú)需外圍無(wú)外設(shè)擴(kuò)展用于昂貴的外部組件。

為了以中等數(shù)據(jù)速率將處理后的數(shù)據(jù)從相機(jī)傳輸?shù)絇C，USB似乎是一個(gè)很好的解決方案。但是，由于處理板的功耗相對(duì)較高，我們無(wú)法使用USB的總線供電功能.USB最有用的功能之一就是可熱插拔，掃描攝像頭可以插入或拔出監(jiān)控系統(tǒng)（本例中為PC），無(wú)需關(guān)閉PC。對(duì)于高數(shù)據(jù)速率應(yīng)用，使用一系列監(jiān)控?cái)z像頭，IEEE Std.1394 Firewire是被推薦 - 它的帶寬是USB 1.1的30倍。

開(kāi)發(fā)工具

我們使用VisualDSP ++ ?來(lái)開(kāi)發(fā)和調(diào)試我們的代碼。 VisualDSP ++包括一個(gè)集成開(kāi)發(fā)環(huán)境（IDE）和一個(gè)提供高效項(xiàng)目管理的調(diào)試器，使我們能夠在程序的編輯，構(gòu)建和調(diào)試之間輕松移動(dòng)。還提供ADSP-BF535評(píng)估平臺(tái)。

算法

在FPGA / DSP處理系統(tǒng)中成功模擬并實(shí)現(xiàn)了不同的算法。這里我們簡(jiǎn)要描述模糊邏輯和1D AR算法。感興趣的讀者可以參考參考文獻(xiàn)了解更多細(xì)節(jié)。

模糊邏輯

模糊邏輯的一種新的令人興奮的應(yīng)用是用于網(wǎng)絡(luò)檢測(cè)系統(tǒng)中的缺陷檢測(cè)。手動(dòng)檢測(cè)系統(tǒng)中的缺陷通常由語(yǔ)言變量描述和識(shí)別，例如較暗或較亮區(qū)域; 更小或更大的對(duì)象，因此模糊邏輯似乎是缺陷檢測(cè)應(yīng)用程序的良好候選者。為了應(yīng)用該算法，從“黃金”（無(wú)缺陷）模板離線導(dǎo)出一組紋理特征。這些紋理特征用作模糊決策引擎的輸入。獲得整個(gè)可能輸入范圍的輸出并存儲(chǔ)在查找表（LUT）中。所提出的算法已經(jīng)在具有多個(gè)染色缺陷的隨機(jī)紋理樣本上進(jìn)行了測(cè)試（圖5）;圖像以256行×256列的分辨率數(shù)字化，具有8位灰度信息。應(yīng)用算法的結(jié)果如圖6所示。

使用ADSP-BF535P，采用一維自回歸（1D AR）算法，定位缺陷的確切位置。

1D AR算法的硬件實(shí)現(xiàn)

圖7顯示了1D AR算法的簡(jiǎn)化信號(hào)流。

1D AR算法可以很容易地在ADSP-BF535P中實(shí)現(xiàn)，并結(jié)合模糊邏輯算法來(lái)檢測(cè)缺陷線中缺陷的確切位置。

AR算法是IIR濾波器（AR預(yù)測(cè)器）。由于IIR濾波器比FIR濾波器更快，因此它們更適合實(shí)時(shí)應(yīng)用。實(shí)驗(yàn)表明，8階濾波器適用于大多數(shù)紋理。計(jì)算單元執(zhí)行單周期操作，并且沒(méi)有計(jì)算流水線。缺陷線像素的灰度級(jí)可以存儲(chǔ)在片上SRAM中，然后通過(guò)DMA控制器將它們無(wú)形地轉(zhuǎn)移到外部存儲(chǔ)器或PC中。

結(jié)論

<我們已經(jīng)描述了一個(gè)相機(jī)原型處理板，它基本上由一個(gè)FPGA和一個(gè)ADI Blackfin處理器組成。討論了實(shí)時(shí)Web檢測(cè)系統(tǒng)的一些重要問(wèn)題，以及參數(shù) - 例如：功耗，成本，封裝，速度，性能以及對(duì)正確外設(shè)和開(kāi)發(fā)工具的需求 - 這些都促使我們選擇ADSP- BF535適合我們的應(yīng)用。我們展示了Blackfin ADSP-BF535為實(shí)現(xiàn)低功耗，高性能，實(shí)時(shí)嵌入式應(yīng)用提供了一個(gè)極好的平臺(tái)。