本文介紹了人機(jī)界面 (HMI) 應(yīng)用程序 3 部分系列的第二部分，即在嵌入式設(shè)備中應(yīng)用 CMOS 攝像頭。它概述了 CMOS 相機(jī)成為嵌入式設(shè)備的重要組成部分，以及從紅外傳感器變得值得升級(jí)的相機(jī)模塊。它還討論了攝像頭模塊部署和 RX 微控制器作為基本運(yùn)動(dòng)檢測(cè)和安全監(jiān)控應(yīng)用選擇的技術(shù)障礙。

CMOS 相機(jī)正成為嵌入式設(shè)備的重要組成部分

隨著產(chǎn)量的增加和競(jìng)爭(zhēng)壓力導(dǎo)致成本下降，CMOS 相機(jī)模塊在嵌入式系統(tǒng)應(yīng)用中變得越來(lái)越普遍。隨著電視和其他家用電器中的節(jié)能攝像頭應(yīng)用以及多種商業(yè)和工業(yè)設(shè)備中增強(qiáng)型 HMI（人機(jī)界面）的進(jìn)一步推動(dòng)，安全攝像頭的銷(xiāo)量不斷增加，制造量也在增長(zhǎng)。

這種基于數(shù)碼攝影的電子趨勢(shì)為電子制造商在創(chuàng)造性解決問(wèn)題方面的成功努力提供了重大獎(jiǎng)勵(lì)。尋求新方法來(lái)增強(qiáng)產(chǎn)品功能和性能的系統(tǒng)工程團(tuán)隊(duì)發(fā)現(xiàn)，將攝像頭功能整合到他們的設(shè)計(jì)中可以為許多嵌入式設(shè)備增加可觀的價(jià)值。

特別是，CMOS 攝像頭模塊可以在 HMI 性能和功能方面實(shí)現(xiàn)令人興奮且重要的增益，適用于一系列快速擴(kuò)展的應(yīng)用（見(jiàn)圖 1）。對(duì)于應(yīng)用動(dòng)作感應(yīng)技術(shù)的電子產(chǎn)品來(lái)說(shuō)尤其如此。

現(xiàn)在變得司空見(jiàn)慣的基于 CMOS 攝像頭的嵌入式應(yīng)用的例子使這種系統(tǒng)設(shè)計(jì)趨勢(shì)成為現(xiàn)實(shí)。安裝在空調(diào)系統(tǒng)中的攝像頭模塊通過(guò)實(shí)現(xiàn)更節(jié)能的操作來(lái)節(jié)省資金。冰箱內(nèi)的模塊允許通過(guò)智能手機(jī)監(jiān)控內(nèi)部條件，從而在最大限度地保存儲(chǔ)存食物的同時(shí)節(jié)省能源。自動(dòng)售貨機(jī)中的攝像頭可以收集詳細(xì)的消費(fèi)者使用數(shù)據(jù)，從而可以在日夜需求變化時(shí)更好地管理分發(fā)商品的庫(kù)存。

在安全設(shè)備和系統(tǒng)（目前是數(shù)碼相機(jī)技術(shù)的最大市場(chǎng)）中，事實(shí)證明，相機(jī)模塊在幫助提高安全性和減少盜竊和欺詐方面非常有效。最后，許多企業(yè)正在使用 CMOS 攝像頭快速讀取二維碼并獲取其他產(chǎn)品管理信息，從而及時(shí)獲取提高運(yùn)營(yíng)效率必不可少的數(shù)據(jù)。

相機(jī)模塊值得從紅外傳感器升級(jí)

顯然，向嵌入式系統(tǒng)添加攝像頭功能的設(shè)計(jì)趨勢(shì)是一個(gè)廣泛、深遠(yuǎn)和快速發(fā)展的趨勢(shì)。然而，并非沒(méi)有適用于許多情況的替代方案。

具體來(lái)說(shuō)，紅外 (IR) 傳感器比相機(jī)便宜，而且它們對(duì)于檢測(cè)人體存在的基本功能同樣有效。但是，在許多情況下，它們具有顯著的性能限制。隨著系統(tǒng)性能要求的提高和其他傳感功能的需求，紅外傳感器變得完全不夠用。

重要的是，將嵌入式系統(tǒng)從 IR 傳感器升級(jí)到 CMOS 相機(jī)模塊的成本通?？梢酝ㄟ^(guò)以下幾個(gè)因素來(lái)降低：模塊生成更多更好數(shù)據(jù)的能力；他們?cè)趯?shí)施增強(qiáng)型 HMI 功能方面的優(yōu)勢(shì)；以及它們無(wú)需額外傳感器的能力，從而有助于降低總體材料成本。

在世界各地，實(shí)現(xiàn)“物聯(lián)網(wǎng)”的嵌入式系統(tǒng)正在產(chǎn)生許多好處——有些出乎意料，但都受到歡迎。隨著這些電子設(shè)備在日常生活中變得越來(lái)越普遍，瑞薩電子預(yù)計(jì)對(duì) CMOS 相機(jī)模塊的需求將猛增。

可以消除攝像頭模塊部署的技術(shù)障礙

在典型的嵌入式 CMOS 攝像頭安裝中，微控制器 (MCU) 或微處理器 (MPU) 接收來(lái)自攝像頭模塊的信號(hào)，然后根據(jù)應(yīng)用的特定要求顯示和處理生成的圖像。創(chuàng)建此過(guò)程的成功實(shí)現(xiàn)并不是一項(xiàng)微不足道的設(shè)計(jì)任務(wù)。

由于這個(gè) HMI 領(lǐng)域正在擴(kuò)大，在許多情況下，從事此類(lèi)項(xiàng)目的系統(tǒng)工程師缺乏數(shù)碼相機(jī)的經(jīng)驗(yàn)。他們關(guān)心的設(shè)計(jì)問(wèn)題包括： 是否需要高端 MCU/MPU？必須開(kāi)發(fā)多少軟件？系統(tǒng)電源電路是否需要重新設(shè)計(jì)？等等。即使是以前有嵌入式相機(jī)經(jīng)驗(yàn)的工程師，也常常在尋找更簡(jiǎn)單的方法來(lái)實(shí)施該技術(shù)，但不確定如何進(jìn)行。

應(yīng)用專家的技術(shù)援助對(duì)于將 HMI 概念轉(zhuǎn)化為成功的現(xiàn)實(shí)非常寶貴。幸運(yùn)的是，這種幫助很容易獲得。

本文的其余部分廣泛介紹了在各種嵌入式系統(tǒng)產(chǎn)品中部署 CMOS 攝像頭模塊的開(kāi)發(fā)解決方案。這些信息對(duì)首次從事此類(lèi)項(xiàng)目的系統(tǒng)工程師以及尋求有關(guān)卓越設(shè)計(jì)方法的更新信息的人員都有幫助。

為補(bǔ)充本故事中的技術(shù)內(nèi)容和我們網(wǎng)站上的數(shù)據(jù)，瑞薩電子為客戶提供全球經(jīng)驗(yàn)豐富的應(yīng)用工程師員工的大量專業(yè)知識(shí)。這些專業(yè)的問(wèn)題解決者可以審查項(xiàng)目要求并推薦最適合實(shí)現(xiàn)特定技術(shù)目標(biāo)和目標(biāo)的 MCU/MPU 和評(píng)估環(huán)境。

RX 和 RZ/A1 滿足不同的應(yīng)用需求

為滿足客戶的系統(tǒng)規(guī)格的多樣化需求，瑞薩電子提供針對(duì)不同幀速率和圖像分辨率進(jìn)行優(yōu)化的嵌入式 CMOS 相機(jī)模塊。我們面向非密集型應(yīng)用的系統(tǒng)解決方案采用 RX 系列中易于使用的中檔 MCU：RX631 或 RX64M 設(shè)備。但是，我們針對(duì)必須提供更高性能視頻功能的應(yīng)用程序的系統(tǒng)解決方案在我們的 RZ 系列中應(yīng)用了高級(jí) MPU，特別是 RZ/A1 系列中的設(shè)備，圍繞 CortexTM-A9 ARM? CPU 構(gòu)建的芯片（參見(jiàn)圖 2）。

圖 2 說(shuō)明了功能要求（橫軸）和時(shí)鐘速度要求（縱軸）之間的關(guān)系，顯示了它們是如何一起上升的。也就是說(shuō)，要提高輸入相機(jī)的分辨率（像素?cái)?shù)）和幀速率，必須使用更快的處理器。

RX MCU 的運(yùn)行速度高達(dá) 120 MHz。它們是實(shí)現(xiàn)圖像捕捉（用于運(yùn)動(dòng)檢測(cè)、安全監(jiān)控等）等功能的理想選擇。RX MCU 也推薦用于二維條碼掃描和相對(duì)簡(jiǎn)單的字符識(shí)別。

RZ/A1 系列中的高端 CPU 的運(yùn)行速度高達(dá) 400 MHz。它們可以輕松處理更復(fù)雜的面部和字符識(shí)別應(yīng)用所需的大量計(jì)算，以及手勢(shì)閱讀和其他復(fù)雜運(yùn)動(dòng)檢測(cè)類(lèi)型應(yīng)用所需的大量計(jì)算。

圖 2 還強(qiáng)調(diào)了這樣一個(gè)事實(shí)：隨著輸入相機(jī)分辨率（X 軸）的提高，需要更高的 CPU 吞吐量（通過(guò)更寬的總線寬度實(shí)現(xiàn)）。例如，中檔 RX MCU 足以用于 10 次捕獲/秒的 VGA 車(chē)輛日間行車(chē)記錄儀。不過(guò)，對(duì)于拍攝更高分辨率照片的夜間行車(chē)記錄儀來(lái)說(shuō)，RZ MPU 可能是必要的。對(duì)于必須檢測(cè)快速移動(dòng)物體的嵌入式系統(tǒng)產(chǎn)品，可能還需要 RZ MPU，因?yàn)殡娮釉O(shè)備必須能夠以快速幀速率處理圖像。

四種技術(shù)可用于檢測(cè)和分類(lèi)運(yùn)動(dòng)

運(yùn)動(dòng)檢測(cè)應(yīng)用是 CMOS 相機(jī)模塊的主要市場(chǎng)。它們也是客戶期望特別高的領(lǐng)域。通常，系統(tǒng)設(shè)計(jì)規(guī)范要求電子設(shè)備不僅要檢測(cè)運(yùn)動(dòng)的存在，還要檢測(cè)運(yùn)動(dòng)的類(lèi)型。

運(yùn)動(dòng)檢測(cè)通常使用四種算法方法之一來(lái)實(shí)現(xiàn)：時(shí)間差檢測(cè)、背景減法、模板匹配和光流檢測(cè)。這四種不同的算法如圖 3 所示，并在下面進(jìn)行了描述。

• 時(shí)間差異檢測(cè)
• 背景減法
• 模板匹配
• 光流

上述前三種算法——時(shí)間差異檢測(cè)、背景減法和模板匹配——使用相對(duì)簡(jiǎn)單的數(shù)學(xué)計(jì)算。因此，它們產(chǎn)生相對(duì)較低的處理負(fù)載。然而，它們不能很好地處理亮度波動(dòng)和其他類(lèi)型的噪聲，也不能很好地檢測(cè)快速移動(dòng)的物體。

光流檢測(cè)方法提供更好的性能，但它對(duì) CPU 的處理負(fù)載相對(duì)較高。

編輯：hfy