“嵌入式視覺”這一名詞是指在嵌入式系統中使用計算機視覺技術。換句話說，“嵌入式視覺”是指從視覺輸入中提取出其背后含義的嵌入式系統。與過去10年中無線通信技術的流行相類似，嵌入式視覺技術有望在今后10年得到廣泛應用。而在實際的應用系統中，嵌入式視覺技術如何才能發揮它的真正潛力呢？

　　在缺乏共通標準而使嵌入式視覺技術發展受阻之際，需要一種兼容各層面功能的標準，才能真正開啟并普及嵌入式視覺應用。例如，如果基于手勢的用戶介面變得普及，對于用戶而言，能夠使用一套具有多種不同機制的通用手勢功能將會變得十分重要。而如果3D成像成為視覺應用的共同工具，那么不管使用什么樣的傳感器，我們都將必須為視覺應用找到一個重現3D圖形數據的共同方式。

　　而對于嵌入式視覺系統所用的處理器，視覺演算法與應用大大地延伸了處理器性能要求的范圍，就運算能力的這一點而言，處理器的性能至關重要。但當你跨越學術研究到實際系統的鴻溝，采用先進演算法以即時執行視頻輸入時，卻不可避免地會消耗掉許多的處理功率。在許多嵌入式系統中，設計人員面臨著尺寸、功耗與成本等嚴苛的限制條件，因此，能夠以低成本與低功耗提供充份的處理能力是至關重要的。

　　而在其它一些要求大量運算的嵌入式處理領域──如隨即浮現于我腦海中的消費性視頻設備──在某種程度上而言，演算法是標準化的。這意味著芯片設計人員可以使用功能固定的硬件加速器和協同處理器，以低功耗和低成本提供大量的處理器運算性能。

　　但在視覺應用方面，不同的應用之間往往采用不同的演算法，甚至是在同一款應用中，所用的演算法也可能因設計不同或時間不同而異。因此，除了極其少數的一些大量應用以外，功能固定的硬件往往無法作為解決方案。在嵌入式視覺系統中，我們需要的處理器必須能夠以低成本與低功耗，提供每秒數十億次即時運算處理性能，并具有彈性化的可編程性能。過去幾年來，已經有這樣的處理器問世，并可協助嵌入式視覺技術進一步導入主流應用中。

　　處理器類別的選擇

　　視覺算法通常需要很強的計算能力。當然，所有的嵌入式系統一般都受限于嚴格的成本和功耗要求。在其他DSP應用領域，例如，數字無線通信等，芯片設計人員使用專用協處理器和加速器來完成應用所要求的苛刻的處理任務，同時滿足了高性能、低成本和低功耗需求，從而解決了這一難題。但是，芯片用戶一般不能對這些協處理器和加速器進行編程。

　　無線應用通常能夠接受這些優缺點，無線應用標準意味著不同設備設計人員使用的算法之間有很強的共性。然而在視覺應用中，對算法的選擇并沒有標準約束。相反，一般可以選擇很多方法來解決某一特殊的視覺問題。因此，視覺算法是非常多樣的，往往隨著時間的變化而迅速變化。結果，與數字無線和以壓縮技術為主的消費類視頻設備等應用相比，視覺應用并不傾向于采用非可編程加速器和協處理器。

　　但是很難同時實現高性能、低成本和低功耗以及可編程功能。專用硬件通常能夠以低成本實現高性能，但是可編程能力較弱。通用CPU具有可編程能力，但是性能較差，性價比不高，能效也較低。要求較高的嵌入式視覺應用通常結合使用多個處理單元，例如，可能會包括：

　　●通用CPU，用于啟發式復雜判決、網絡訪問、用戶接口、存儲管理和總體控制等。

　　●高性能數字信號處理器，用于實時中等速率處理，不太復雜的算法等。

　　●用于簡單算法像素速率處理的一個或者多個高度并行的引擎。

　　任何處理器在理論上都可以用于嵌入式視覺，目前最有可能的類型是：

　　●高性能嵌入式CPU

　　●專用標準產品（ASSP）與CPU相結合

　　●具有CPU的圖形處理單元（GPU）

　　●具有加速器以及CPU的數字信號處理器

　　●移動“應用處理器”

　　●具有CPU的現場可編程門陣列（FPGA）

　　各類處理器，及其在嵌入式視覺應用上的關鍵優缺點

　　高性能嵌入式CPU

　　在很多情況下，嵌入式CPU不能提供足夠的性能實現要求較高的視覺算法——也不能夠以可以接受的價格或者功耗來滿足性能要求。通常，存儲器帶寬是關鍵性能瓶頸，因為視覺算法通常使用大量的數據，不會重復訪問相同的數據。嵌入式CPU的存儲器系統無法設計適應這類數據流。然而，與大部分處理器相類似，隨著時間的推移，嵌入式CPU的性能在逐漸增強，在某些情況下，能夠提供足夠的性能。

　　在可能的情況下，有足夠的理由在CPU上運行視覺算法。首先，大部分嵌入式系統需要CPU來實現各種功能。如果所需要的視覺功能能夠通過這種CPU來實現，那么，相對于多處理器解決方案相比，這降低了系統的復雜度。而且，大部分視覺算法一開始是在PC上開發的，使用了通用CPU及其相關的軟件開發工具。PC CPU和嵌入式CPU （及其相關的工具）之間的相似性意味著，與其他類型的嵌入式視覺處理器相比，一般比較容易在嵌入式CPU上通過嵌入方式實現視覺算法。最后，嵌入式CPU 使用起來通常比其他類型的嵌入式視覺處理器更簡單，這是因為其相對直觀的體系結構、成熟的工具以及其他的應用開發基礎支持平臺等，例如，操作系統。

　　結合了CPU的ASSP

　　ASSP 是專用、集成度很高的芯片，定制用于特殊應用或者專業應用。ASSP可以采用CPU，或者使用單獨的CPU芯片。憑借專業化，與其他類型的處理解決方案相比，ASSP通常具有優異的成本和能效。在其他技術中，ASSP通過使用專用協處理器和加速器來提高效率。而且，由于ASSP主要集中在專業應用上，因此，通常需要大量的應用軟件。

　　這種專業化使得ASSP能夠實現很高的效率，但是，也帶來了很大的局限：缺乏靈活性。設計用于某一應用的 ASSP一般不能用于其他應用，甚至目標應用相關的應用。ASSP使用唯一的體系結構，與其他類型的處理器相比，更難進行編程。實際上，某些ASSP并不支持用戶編程。另一方面的考慮是風險問題。ASSP通常由小供應商提供，這可能會增加難以提供芯片的風險，或者無法提供后續產品以幫助系統設計人員更新其設計，設計人員不得不從頭開始進行設計。

　　具有CPU的GPU

　　GPU主要是用于3D圖形，并且越來越多的用于實現其他功能，例如，視覺應用等。目前，個人計算機的GPU傾向于可編程，除了3D圖形還能完成其他功能。這類GPU被稱為“通用GPU”，或者“GPGPU”。 GPU有很強的并行處理能力。它們在個人計算機上是獨一無二的。可以免費使用GPU軟件開發工具，從GPGPU開始進行編程并不是很復雜。出于這些原因，在PC上第一次開發其計算機視覺算法的開發人員通常采用GPU作為并行處理引擎，他們出于仿真或者原型開發的目的，需要加速算法的執行。

　　GPU 緊密集成了通用CPU，有時候是在同一芯片上。然而，GPU芯片的一種局限是目前能夠集成的CPU類型有限，而且支持這類集成的CPU操作系統也很有限。目前，可以提供設計用于智能電話和平板電腦等產品的低成本、低功耗GPU。但是，這些GPU一般不是GPGPU，因此，除了3D圖形之外，將其用在其他應用中有很大的難度。

　　具有加速器以及CPU的數字信號處理器

　　數字信號處理器是專門用于信號處理算法和應用的微處理器。對于視覺應用核心的信號處理等任務，這種專業化使得數字信號處理器的效率要遠遠高于通用CPU。而且，與其他類型的并行處理器相比，數字信號處理器相對比較成熟，使用起來更方便。

　　但是，雖然數字信號處理器在視覺算法上的性能和效率要高于通用CPU，但仍然難以提供足夠的性能來滿足算法要求。出于這一原因，DSP一般需要一個或者多個輔助協處理器。因此，視覺應用中一個典型的DSP芯片包括了CPU、數字信號處理器以及多個協處理器。這種異質結合能夠產生很好的性能和很高的效率，但也難以編程。實際上，DSP供應商一般不支持用戶對協處理器進行編程；而是讓協處理器運行芯片供應商開發的軟件函數庫。

　　移動“應用處理器”

　　移動“應用處理器”是集成度非常高的芯片系統，一般主要設計用于智能電話，而不是其他應用。應用處理器通常包括高性能CPU內核，以及各種特殊的協處理器，例如，數字信號處理器、GPU、視頻處理單元（VPU）、2D圖形處理器，以及圖像采集處理器等。

　　這些芯片專門針對電池供電應用進行了設計，因此，能效非常高。而且，由于圍繞智能電話和平板電腦的應用越來越重要，因此，移動應用處理器一般有很強的軟件開發基礎支持平臺，包括，低成本開發電路板、Linux和Android端口等。然而，正如前面章節對數字信號處理器的討論，應用處理器中的專用協處理器一般不是用戶可編程的，限制了它們在視覺應用中的發展。

　　具有CPU的FPGA

　　FPGA是靈活的邏輯芯片，可以在門級和模塊級進行重新配置。這一靈活性使得用戶能夠隨時實現定制滿足應用需求的計算結構。它還支持選擇滿足應用需求的I/O接口和片內外設。能夠定制計算結構，結合現代FPGA中大量的資源，同時實現了高性能和良好的性價比和能效比。

　　但是，使用FGPA實際上是硬件設計功能，而不是軟件開發工作。一般在寄存器傳送級（RTL）使用硬件描述語言（Verilog或者VHLD）來進行 FPGA設計，寄存器傳送級是很低的抽象級。與使用本文討論的其他類型的處理器相比，這使得FPGA設計非常耗時，成本也高。

　　雖然如此，使用FPGA越來越方便了，這是由多種因素造成的。首先，是所謂的“IP模塊”庫——可重用FPGA設計組件庫，其功能越來越強大了。在某些情況下，這些庫能夠直接滿足視覺算法要求。在其他一些應用中，它們還支持視頻I/O端口或者掃描線緩沖等功能。而且，FGPA供應商及其合作伙伴提供了越來越多的參考設計——采用了FPGA的可重用系統設計，面向專業應用。最后，利用高級綜合工具，設計人員使用高級語言，在FPGA中實現視覺和其他算法，而且效率越來越高。用戶可以在FPGA中實現性能相對低一些的CPU。而且，在少量的應用中，FPGA制造商在器件中集成了高性能CPU。