嵌入式視覺技術(shù)賦予機器視覺的力量，但今天的系統(tǒng)仍然無法理解圖像的所有細(xì)微差別。一種用于自然語言處理的方法可以解決這個問題。

基于注意力的神經(jīng)網(wǎng)絡(luò)，尤其是變換器網(wǎng)絡(luò)，徹底改變了自然語言處理 （NLP），讓機器比以往任何時候都更好地理解語言。這種技術(shù)旨在通過為人工神經(jīng)網(wǎng)絡(luò)提供歷史或背景的概念來模擬認(rèn)知過程，與使用記憶的舊方法（如長短期記憶（LSTM）和循環(huán)記憶）相比，它產(chǎn)生了更復(fù)雜的人工智能代理。神經(jīng)網(wǎng)絡(luò)（RNN）。NLP 現(xiàn)在對輸入的問題或提示有了更深層次的理解，并且可以創(chuàng)建很長的文本作為響應(yīng)，這些文本通常與人類可能寫的內(nèi)容沒有區(qū)別。

注意力當(dāng)然可以應(yīng)用于圖像處理，盡管到目前為止它在計算機視覺中的使用受到限制。Perceive 首席執(zhí)行官、人工智能專家 Steve Teig 在接受 EE Times 的獨家采訪時認(rèn)為，注意力對于視覺應(yīng)用程序?qū)⒆兊脴O為重要。

基于注意力的網(wǎng)絡(luò)

注意機制查看輸入序列，例如句子，并在序列中的每條數(shù)據(jù)（音節(jié)或單詞）之后決定序列的其他部分是相關(guān)的。這類似于您閱讀本文的方式：您的大腦在記憶中保留了某些單詞，即使它專注于您正在閱讀的每個新單詞，因為您已經(jīng)閱讀的單詞與您正在正確閱讀的單詞結(jié)合在一起現(xiàn)在提供有價值的上下文來幫助您理解文本。

泰格的例子是：

汽車在街上打滑，因為它很滑。

當(dāng)你讀完這句話時，你會明白“滑”可能是指街道而不是汽車，因為你已經(jīng)記住了“街道”和“汽車”這兩個詞，你的經(jīng)驗告訴你， “slippery”和“street”比“slippery”和“car”之間的關(guān)聯(lián)性強得多。神經(jīng)網(wǎng)絡(luò)可以嘗試使用注意力機制來模仿這種能力。

該機制“獲取最近過去的所有單詞，并以某種方式將它們進行比較，以了解哪些單詞可能與哪些其他單詞相關(guān)，”Teig 說。“然后網(wǎng)絡(luò)知道至少要關(guān)注這一點，因為“滑”更有可能與街道或汽車［相關(guān)］而不是［任何其他詞］。

因此，注意力是一種專注于將呈現(xiàn)數(shù)據(jù)的序列減少到可能感興趣的子集（可能僅是當(dāng)前和以前的句子），然后分配每個單詞可能相關(guān)程度的可能性的方法。

“［注意力］最終成為了一種利用時間的方式，以一種有點原則的方式，沒有查看曾經(jīng)發(fā)生的一切的開銷，”泰格說。“這導(dǎo)致人??們，直到最近，還認(rèn)為注意力是一種可以管理時間的技巧。當(dāng)然，它對語音處理、語言處理和其他時間事物產(chǎn)生了巨大的積極影響。最近，就在最近幾個月，人們開始意識到，也許我們可以用注意力來做其他的信息聚焦。”

視覺轉(zhuǎn)換器

迄今為止，為視覺設(shè)計的神經(jīng)網(wǎng)絡(luò)對注意力技術(shù)的使用非常有限。到目前為止，注意力已與卷積神經(jīng)網(wǎng)絡(luò) （CNN） 一起應(yīng)用或用于替換 CNN 的某些組件。但谷歌科學(xué)家最近發(fā)表的一篇論文（“一幅圖像值得 16 × 16 字：大規(guī)模圖像識別的變形金剛，” 2020 年 10 月）認(rèn)為注意力的概念更廣泛地適用于視覺。作者表明，純 Transformer 網(wǎng)絡(luò)是 NLP 中廣泛使用的一種依賴于注意力機制的網(wǎng)絡(luò)，當(dāng)直接應(yīng)用于圖像塊序列時，可以很好地執(zhí)行圖像分類任務(wù)。研究人員構(gòu)建的變壓器網(wǎng)絡(luò) Vision Transformer （ViT） 取得了優(yōu)于 CNN 的結(jié)果，但訓(xùn)練所需的計算資源更少。

雖然很容易想象注意力如何應(yīng)用于文本或口語對話，但將相同的概念應(yīng)用于靜止圖像（而不是諸如視頻之類的時間序列）就不那么明顯了。事實上，注意力可以用在空間上，而不是這里的時間上下文中。音節(jié)或單詞類似于圖像的補丁。

Teig 的例子是一張狗的照片。顯示狗耳朵的圖像補丁可能會將自己識別為耳朵，即使是在毛茸茸的動物或四足動物身上發(fā)現(xiàn)的特定類型的耳朵。同樣，尾巴補丁知道它也存在于毛茸茸的動物和四足動物身上。圖像背景中的樹塊知道它有樹枝和樹葉。注意力機制詢問耳貼和樹貼有什么共同點。答案是，不多。然而，耳貼和尾貼確實有很多共同點。他們可以討論這些共性，也許神經(jīng)網(wǎng)絡(luò)可以找到比“耳朵”或“尾巴”更大的概念。也許網(wǎng)絡(luò)可以理解圖像提供的一些上下文，以計算出耳朵加尾巴可能等于狗。

注意力可以通過了解圖像塊之間的相關(guān)性來推斷上下文，從而幫助 AI 代理更好地理解圖像中發(fā)生的事情。

“狗的耳朵和尾巴不是獨立的這一事實使我們能夠更簡潔地描述圖片中發(fā)生的事情：‘圖片中有一只狗’，而不是‘旁邊有一個棕色像素到一個灰色像素，旁邊是……’，這是對圖片中正在發(fā)生的事情的可怕描述，”Teig 說。“可以這么說，當(dāng)系統(tǒng)用這些語義術(shù)語描述圖像的各個部分時，這就是可能的。然后它可以將這些聚合成更有用的概念，用于下游推理。”

Teig 說，最終的目標(biāo)是讓神經(jīng)網(wǎng)絡(luò)理解圖片是一只追逐飛盤的狗。

“祝你好運，用 1600 萬色像素做到這一點，”他說。“這是一種嘗試將其處理為‘有一只狗；有一個飛盤；狗在跑。‘ 現(xiàn)在我有機會理解狗可能在玩飛盤。”

更近一步

谷歌在視覺系統(tǒng)注意力方面的工作是朝著正確方向邁出的一步，Teig 說，“但我認(rèn)為無論從理論和軟件的角度，還是從硬件的角度來看，這里都有很大的進步空間，當(dāng)一個不必用巨大的矩陣來打擊數(shù)據(jù)，我非常懷疑你的大腦正在做什么。有很多東西可以在上下文中過濾掉，而無需將其與其他所有內(nèi)容進行比較。”

雖然 Google 研究團隊的解決方案比 CNN 更節(jié)省地使用計算資源，但 NLP 中通常實現(xiàn)注意力的方式使得像轉(zhuǎn)換器這樣的網(wǎng)絡(luò)非常耗費資源。Transformer 經(jīng)常構(gòu)建巨大的 N × N 音節(jié)矩陣（用于文本）或像素（用于圖像），需要大量的計算能力和內(nèi)存來處理。

“那里的數(shù)據(jù)中心人員認(rèn)為，‘太好了——我們有一個數(shù)據(jù)中心，所以一切對我們來說都像是釘子，’”Teig 說，這就是我們最終得到像 OpenAI 的 GPT-3 這樣的 NLP 模型的方式，它的 1750 億個參數(shù)。“當(dāng)你先驗地看到所有東西時，你可以說前面句子中的幾乎所有內(nèi)容都無關(guān)緊要，這有點荒謬。你不能提前做任何過濾嗎？你真的要因為你有一個巨大的矩陣乘法器就粗暴地做這個嗎……？這有任何意義嗎？可能不是。”

科學(xué)界最近嘗試減少注意力的計算開銷，已將所需的操作數(shù)量從 N 2減少到 N√N。但這些嘗試延續(xù)了“近乎普遍的信念——我不同意——即深度學(xué)習(xí)完全是關(guān)于矩陣和矩陣乘法，”Teig 說，并指出最先進的神經(jīng)網(wǎng)絡(luò)研究正在由那些能夠獲得大規(guī)模矩陣乘法加速器。

Teig 作為邊緣 AI 加速器芯片公司 Perceive 的首席執(zhí)行官的觀點是，有更有效的方法來概念化神經(jīng)網(wǎng)絡(luò)計算。Perceive 已經(jīng)在使用其中一些概念，Teig 認(rèn)為類似的見解將適用于注意力機制和轉(zhuǎn)換器網(wǎng)絡(luò)。

“我認(rèn)為關(guān)注的精神非常重要，”他說。“我認(rèn)為機器本身將在未來幾年內(nèi)迅速發(fā)展……在軟件、理論上和硬件方面來代表它。”

今天的大型變壓器網(wǎng)絡(luò)最終會安裝到邊緣設(shè)備的加速器上嗎？在 Teig 看來，部分問題在于像 GPT-3 的 1750 億個參數(shù)這樣的網(wǎng)絡(luò)——大約 1 萬億位信息（為了論證而假設(shè) 8 位參數(shù)）。

他說：“這就像我們在玩20個問題的游戲，只是我要問你一萬億個問題，才能理解你剛才說的話。”也許兩萬或兩百萬不能完成，但一萬億——滾出去！缺陷不是我們有一個20-MW的小芯片；缺陷在于，擁有1750億個參數(shù)意味著你真的做錯了什么。

根據(jù)泰格的說法，減少基于注意力的網(wǎng)絡(luò)的參數(shù)數(shù)量，并有效地表示它們，可以為邊緣設(shè)備帶來基于注意力的嵌入式視覺。而這樣的發(fā)展“并不遙遠(yuǎn)”。

Percept首席執(zhí)行官Steve Teig將在嵌入式愿景峰會上發(fā)表兩次演講。在“直面偏見”中，他將討論人工智能系統(tǒng)中歧視的來源，而在“TinyML不夠大”中，他將挑戰(zhàn)TinyML模型必須在準(zhǔn)確性上妥協(xié)以及它們應(yīng)該在CPU或MCU上運行的觀念。

審核編輯：郭婷