總部在加利福尼亞州歐文市的Syntiant公司和總部在德克薩斯州奧斯汀的Mythic公司都認(rèn)為,它們可以使用嵌入式閃存來(lái)大大減少執(zhí)行深度學(xué)習(xí)計(jì)算所需的電力。它們可能都是對(duì)的。
越來(lái)越多的公司希望推出加速其他計(jì)算繁重的深度學(xué)習(xí)應(yīng)用的芯片,并且在某種程度上它們都有相似之處,因?yàn)椤斑@些是面向相同形態(tài)的一類(lèi)問(wèn)題的解決方案”,Mythic創(chuàng)始人兼CTODaveFick解釋說(shuō)。
當(dāng)在CPU中執(zhí)行深度學(xué)習(xí)計(jì)算時(shí),那類(lèi)問(wèn)題在形態(tài)上就像數(shù)據(jù)的交通堵塞。神經(jīng)網(wǎng)絡(luò)由連接和表示那些連接有多強(qiáng)的“權(quán)重”組成,必須移動(dòng)這些權(quán)重以便它們可以在正確的時(shí)間和位置以數(shù)字方式被表示,是如今的深度學(xué)習(xí)中主要的耗能之處。
Syntiant的CEOKurtBush解釋說(shuō):“我們的方法是通過(guò)在內(nèi)存中進(jìn)行計(jì)算來(lái)完全消除內(nèi)存帶寬和內(nèi)存功耗的penalties問(wèn)題”。
Syntiant和Mythic這兩家公司所采用的方法中,網(wǎng)絡(luò)權(quán)重實(shí)際上是存儲(chǔ)在閃存單元陣列中的電荷水平。電荷改變了流過(guò)電池的電流量,電池是以電流可產(chǎn)出至關(guān)重要的“乘法和累加”運(yùn)算的方式排列的,這樣的運(yùn)算是能從日落中讀出停止信號(hào)或從“大灰獅子狗”中讀出“OKGoogle”的網(wǎng)絡(luò)所需要的。
因?yàn)闄?quán)重總是在它們需要在的位置,所以不需要花費(fèi)任何時(shí)間或精力來(lái)移動(dòng)它們。計(jì)算的模擬性質(zhì)也使得功耗保持在低水平。雖然訓(xùn)練神經(jīng)網(wǎng)絡(luò)通常是通過(guò)使用相當(dāng)精確的(8位或16位)數(shù)字進(jìn)行計(jì)算來(lái)實(shí)現(xiàn)的,但實(shí)際上,使用經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)(稱(chēng)為推理)可以更快地完成,并且可以使用更低精度的數(shù)字(5位或者甚至3位)作為權(quán)重以更低的功耗完成。Busch說(shuō):“通過(guò)模擬計(jì)算,你可以建立低精度但非常非常準(zhǔn)確的乘法和累加運(yùn)算”。
Mythic的目標(biāo)是每次乘法和累加運(yùn)算僅消耗0.5焦耳,這將導(dǎo)致每瓦特可支持約4萬(wàn)億次操作(TOPS/W)。Syntiant希望達(dá)到20TOPS/W。根據(jù)Syntiant的說(shuō)法,NvidiaVoltaV100GPU可以達(dá)到0.4TOPS/W。然而,F(xiàn)ick指出,在機(jī)器學(xué)習(xí)領(lǐng)域,真正的蘋(píng)果對(duì)蘋(píng)果(apples-to-apples)的比較是很難確定的。
每個(gè)創(chuàng)業(yè)公司在多大范圍使用模擬電路,是它們之間的關(guān)鍵差異。Syntiant的整個(gè)網(wǎng)絡(luò)都是模擬的,而Mythic環(huán)繞著帶有可編程數(shù)字電路的模擬閃存陣列。Mythic使用周?chē)碾娐穪?lái)增加其芯片可以運(yùn)行的網(wǎng)絡(luò)的大小和類(lèi)型的靈活性。Fick說(shuō):“在我們的芯片上,所有的網(wǎng)絡(luò)拓?fù)涞倪\(yùn)行效率大致相同”。
這種差異也會(huì)影響兩家公司的目標(biāo)客戶(hù)和應(yīng)用程序。在Syntiant,“我們經(jīng)常說(shuō),Mythic百分之百出現(xiàn)在投資會(huì)議上,而從不對(duì)顧客這樣表現(xiàn)殷勤”,Busch說(shuō)。兩家公司都表示他們正在尋求增加處在前沿的人工智能領(lǐng)域的客戶(hù)。但人工智能是一個(gè)寬泛的范疇,包括從自動(dòng)駕駛汽車(chē)到人工智能增強(qiáng)助聽(tīng)器的所有內(nèi)容。
Syntiant正在尋求較小的、通常為毫瓦級(jí)的電力應(yīng)用。它的第一個(gè)設(shè)備將能執(zhí)行諸如識(shí)別喚醒詞和識(shí)別說(shuō)話(huà)者之類(lèi)的事情。
Mythic正在開(kāi)發(fā)需要更復(fù)雜網(wǎng)絡(luò)的應(yīng)用程序,這些網(wǎng)絡(luò)能夠在具有很低的一位數(shù)瓦特功率的系統(tǒng)中處理高分辨率視頻,例如自動(dòng)無(wú)人機(jī)和智能手機(jī)。Fick說(shuō),這些應(yīng)用程序所需的每秒操作數(shù)與Syntiant的那些應(yīng)用程序所追求的每秒操作數(shù)之間存在數(shù)量級(jí)的差異。
-
智能手機(jī)
+關(guān)注
關(guān)注
66文章
18565瀏覽量
181432 -
嵌入式
+關(guān)注
關(guān)注
5097文章
19227瀏覽量
308751 -
無(wú)人機(jī)
+關(guān)注
關(guān)注
230文章
10554瀏覽量
183069 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5523瀏覽量
121713
原文標(biāo)題:兩家初創(chuàng)公司都使用嵌入式閃存來(lái)減少執(zhí)行深度學(xué)習(xí)計(jì)算所需的電力
文章出處:【微信號(hào):IEEE_China,微信公眾號(hào):IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
如何提高嵌入式代碼質(zhì)量?
LDO在嵌入式系統(tǒng)中的應(yīng)用 常見(jiàn)LDO故障及解決方法
新手怎么學(xué)嵌入式?
嵌入式學(xué)習(xí)建議
嵌入式工控機(jī)如何使用?嵌入式工控機(jī)操作方法及注意事項(xiàng)
嵌入式主板是什么意思?嵌入式主板全面解析
嵌入式開(kāi)發(fā)常見(jiàn)問(wèn)題排查

嵌入式工控一體機(jī)的安裝方法和使用注意事項(xiàng)?
如何提升嵌入式編程能力?
嵌入式熱門(mén)發(fā)展方向有哪些?
再談嵌入式實(shí)時(shí)操作系統(tǒng)

評(píng)論