由于人工智能 （AI） 和機(jī)器學(xué)習(xí) （ML） 的進(jìn)步，嵌入式系統(tǒng)提供商越來越多地開發(fā)大腦芯片，邊緣的人工智能 （AI） 使用正在急劇增長。微芯科技股份有限公司與韓國智能硬件 （IHWK） 正在合作開發(fā)模擬計(jì)算平臺(tái)，以加速神經(jīng)技術(shù)設(shè)備的邊緣 AI/ML 推理。

IHWK正在為神經(jīng)技術(shù)設(shè)備和現(xiàn)場可編程神經(jīng)形態(tài)設(shè)備開發(fā)神經(jīng)形態(tài)計(jì)算平臺(tái)。Microchip Technology子公司Silicon Storage Technology（SST）宣布將通過為其SuperFlash memBrain神經(jīng)形態(tài)記憶解決方案提供評(píng)估系統(tǒng)來協(xié)助該平臺(tái)的開發(fā)。該解決方案基于 Microchip 的非易失性存儲(chǔ)器 （NVM） SuperFlash 技術(shù)，經(jīng)過優(yōu)化，可通過模擬內(nèi)存計(jì)算方法為神經(jīng)網(wǎng)絡(luò)執(zhí)行矢量矩陣乘法 （VMM）。

Sheer Analytics&Insights的一份報(bào)告預(yù)測，到2028年，全球神經(jīng)形態(tài)計(jì)算市場將達(dá)到7.8億美元，在2020年至2028年的預(yù)測年份中以50%的年復(fù)合年增長率增長。

“神經(jīng)形態(tài)計(jì)算技術(shù)利用在模擬域內(nèi)操作關(guān)鍵過程的硬件來模仿大腦過程，”Microchip許可業(yè)務(wù)部門SST副總裁Mark Reiten說。“模擬域內(nèi)的操作利用非馮諾依曼架構(gòu)，以最小的功耗提供人工智能驅(qū)動(dòng)的功能。這是對(duì)基于數(shù)字硬件和傳統(tǒng)馮諾依曼架構(gòu)的主流人工神經(jīng)網(wǎng)絡(luò)的重大改進(jìn)。數(shù)字方法消耗的功率比人腦高出多個(gè)數(shù)量級(jí)，以實(shí)現(xiàn)類似的任務(wù)。
memBrain技術(shù)評(píng)估套件使IHWK能夠展示其神經(jīng)形態(tài)計(jì)算平臺(tái)在邊緣運(yùn)行推理算法的能效。目標(biāo)是為生成式 AI 模型、自動(dòng)駕駛汽車、醫(yī)療診斷、語音處理、安全/監(jiān)控和商用無人機(jī)等應(yīng)用創(chuàng)建超低功耗模擬處理單元 （APU）。

這是兩家公司之間的首次合作，合作期限可能長達(dá)數(shù)年。“IHWK打算使用我們提供的memBrain演示系統(tǒng)來試驗(yàn)設(shè)計(jì)理念，以便為他們正在評(píng)估的邊緣計(jì)算市場制定上市戰(zhàn)略，”Reiten說。

當(dāng)前用于邊緣推理的神經(jīng)網(wǎng)絡(luò)模型可能需要 5000 萬個(gè)或更多的突觸（權(quán)重）進(jìn)行處理，這為純數(shù)字神經(jīng)網(wǎng)絡(luò)計(jì)算所需的片外 DRAM 帶來了帶寬瓶頸。memBrain 解決方案以超低功耗亞閾值模式將突觸權(quán)重存儲(chǔ)在片上浮柵中，并使用相同的存儲(chǔ)單元來執(zhí)行計(jì)算。這提高了電源效率和系統(tǒng)延遲。與傳統(tǒng)的數(shù)字 DSP 和基于 SRAM/DRAM 的方法相比，它為每個(gè)推理決策的功耗降低了 10× 到 20×并顯著降低了總體物料清單 （BOM）。

“突觸權(quán)重作為電導(dǎo)存儲(chǔ)在浮柵存儲(chǔ)單元中，這意味著該單元用作可編程電阻器，”Reiten解釋說。“當(dāng)在位線上的水平方向向電池施加輸入電壓并與電池電導(dǎo)相結(jié)合時(shí)，以電流測量的輸出是輸入電壓（值1）乘以電導(dǎo)（值2）。我們將單詞行上許多細(xì)胞的輸出電流相加，在陣列中形成垂直方向的'神經(jīng)元'。

IHWK還與大田的韓國科學(xué)技術(shù)院（KAIST）合作開發(fā)用于設(shè)備開發(fā)的APU，并與首爾延世大學(xué)合作開發(fā)設(shè)備設(shè)計(jì)協(xié)助。最終的APU應(yīng)優(yōu)化系統(tǒng)級(jí)算法，以便在每瓦20-80 TeraOPS之間運(yùn)行 - 這是專為電池供電設(shè)備設(shè)計(jì)的內(nèi)存計(jì)算解決方案的最佳性能。

“至于使用該技術(shù)的電池壽命，這實(shí)際上取決于特定的目標(biāo)市場，但與同等性能的數(shù)字解決方案相比，memBrain技術(shù)應(yīng)該能夠?qū)a(chǎn)品的電池壽命延長至少3×”Reiten說。

通過使用NVM而不是片外存儲(chǔ)器來執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算和存儲(chǔ)權(quán)重，memBrain技術(shù)可以消除與在邊緣執(zhí)行AI處理相關(guān)的大量數(shù)據(jù)通信瓶頸。IHWK正在利用SuperFlash存儲(chǔ)器的浮動(dòng)?xùn)艠O單元的非易失性來實(shí)現(xiàn)低功耗邊緣計(jì)算設(shè)備的新基準(zhǔn)，支持使用高級(jí)ML模型進(jìn)行ML推理。