電子發(fā)燒友網報道（文/李寧遠）5月30日，來自清華大學類腦計算研究中心團隊的類腦互補視覺芯片“天眸芯”登上了《Nature》封面。 文章名為“A vision chip with complementary pathways for open-world sensing”，即面向開放世界感知的具有互補路徑的視覺芯片。

這是世界上首款類腦互補視覺芯片，基于視覺原語的互補雙通路類腦視覺感知新范式，突破了傳統(tǒng)視覺感知芯片在穩(wěn)定性和安全性等方面的性能瓶頸。

天眸芯：受人類視覺系統(tǒng)啟發(fā)的互補雙通路類腦視覺感知

視覺傳感器發(fā)展到現(xiàn)在，在應用上已經表現(xiàn)得很成熟，但目前常用的視覺成像硬件系統(tǒng)的功能仍然不能像人類視覺系統(tǒng)那樣靈活，這一類圖像傳感器在處理開放世界應用中的動態(tài)、多樣和不可預測的場景時仍舊面臨著巨大的挑戰(zhàn)。

具體來說傳統(tǒng)視覺感知芯片在高速、高分辨率、大動態(tài)范圍和高精度方向上同時發(fā)展受到了功率和帶寬的嚴重限制。在處理開放世界中的動態(tài)不可預測情景時，這些感知芯片感知器件面臨失真、失效抑或高延遲等問題，嚴重影響了系統(tǒng)的穩(wěn)定性和安全性。

為解決這些限制，清華大學類腦計算研究中心團隊解析了人類視覺系統(tǒng)，論文中講解到，人類視網膜由視桿細胞和視錐細胞組成，它們以相反的方式運行以擴大靈敏度范圍。在下一個系統(tǒng)層級上，外側膝狀體（LGN）中的M通路和P通路以互補的方式編碼視覺信息。然后，來自LGN的輸出信息被重組為一系列primitive基元，這些基元包含了顏色、方向、深度和方向等信息。

傳入的感覺信息通過與感官相對應的特定模式通道發(fā)送到大腦，這些通道中的每一個都進一步將輸入的信號解析為并行流，向大腦提供緊湊、高效的輸入。

受到這種構造的啟發(fā)，團隊提出了一種類腦的互補感知范式，該范式將視覺信息解析為primitive-based，并將這些原始的primitive-based信息組合在一起形成兩種互補的視覺通路，一是以準確認知為導向的認知通路，另一種是以行動為導向的快速響應通路。

為了實現(xiàn)這一范式，團隊開發(fā)了“天眸”視覺芯片，該芯片結合了混合像素陣列和并行異構讀出架構。該芯片采用90納米背照式CMOS，對認知導向的通路COP和行動導向通路AOP電路做了并行的異構組合，再通過稀疏時空差分分組器生成壓縮數(shù)據(jù)。

互補通路構筑的類腦視覺感知，已在實際應用中展現(xiàn)超強性能

利用互補視覺路徑的特性，天眸芯實現(xiàn)了高達10000幀/秒的高速傳感，動態(tài)范圍為130 dB，在空間分辨率、速度和動態(tài)范圍方面具有明顯的優(yōu)勢。

天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是極低的功耗水平。不同像素、模擬、數(shù)字和接口電路下，最低為757fps@±7-bit（threshold=0）下的328.4mW。

在天眸芯中，不同的數(shù)據(jù)原始組合被編碼形成AOP數(shù)據(jù)和COP數(shù)據(jù)。這兩種通路有獨立的緩沖區(qū)，并支持獨立的反饋控制。然后，AOP和COP的處理數(shù)據(jù)被發(fā)送到不同光流求解器中。推理結果最終被集成到多對象跟蹤器。這種方法優(yōu)化了兩條互補通路，同時保留了低延遲響應能力和高性能特征。

天眸芯測試板與處理系統(tǒng)示意圖，來源：Nature

在整個視覺重建中，有自監(jiān)督訓練管道，使用兩個通路提供的彩色圖像并根據(jù)這些圖像之間的差異數(shù)據(jù)來提供訓練樣本。不斷調整輸入數(shù)據(jù)量就能獲得任何時間點的高速彩色圖像，最終完成圖像輸出。

清華大學團隊在論文中展示了實際應用中的芯片特性，如捕捉快速移動中的乒乓球、記錄車輪旋轉以及抓拍閃電。車輪抓拍中該芯片COP部分記錄下的車輪混疊通過高速AOP消除并進行了抗鋸齒重建，閃電拍攝中COP遺漏的閃電在AOP進行了補全，表現(xiàn)十分亮眼。

天眸芯特別在開放環(huán)境的車載平臺上進行了多項性能驗證，在多種極端場景下，該系統(tǒng)實現(xiàn)了低延遲、高性能的實時感知推理，展現(xiàn)了其在智能無人系統(tǒng)領域的應用潛力。

值得一提的是AOP中的稀疏數(shù)據(jù)流，加上特殊的編碼方法，使天眸能夠自適應地調整其傳輸帶寬。即使大多數(shù)情況下芯片處于小于80 MB/s的帶寬下，但在這種互補感知下，大量測試案例已經表明了該帶寬已經足以解決許多現(xiàn)實應用中動態(tài)不可預測的場景感知難題。

清華大學表示，“天眸芯的成功研制無疑是智能感知芯片領域的一個重大突破。它不僅為智能革命的發(fā)展提供了一個強大的技術支持，還為自動駕駛、具身智能等重要應用開辟了新的道路”。

繼異構融合類腦計算芯片“天機芯”后，清華大學類腦計算研究中心團隊憑借“天眸芯”再次登上《自然》雜志封面。此前天機芯的發(fā)布標志著我國在類腦計算上的突破，此次天眸芯發(fā)布，意味著我國在類腦感知方向上同樣取得了至關重要的突破。天眸芯的出現(xiàn)，讓視覺感知進入了全新的篇章。

不斷突破的類腦技術正在推動智能應用顛覆性變革

本次“天眸芯”的公布，加之“天機芯”積累的技術與應用基礎，無疑將進一步完善類腦智能生態(tài)，有力地推動通用人工智能的發(fā)展。國內也有不少科研機構和企業(yè)在這條賽道上持續(xù)突破，用類腦技術推動智能應用變革。

北京靈汐科技是國內領先的類腦計算企業(yè)，靈汐科技研發(fā)經理楊哲宇博士也是本次天眸芯論文的共同第一作者之一。靈汐科技已經發(fā)布并量產了具有完全自主產權的商用類腦芯片——領啟KA200(-S)。該款芯片采用了異構融合、眾核并行、存算一體的架構，單芯片集成25萬神經元和2500萬突觸，可擴展支持200萬神經元和20億突觸的集成計算。目前已在云邊端AI應用領域取得了不錯的落地。據(jù)悉未來還會繼續(xù)推動類腦技術在機器人及具身智能、大模型、智算中心等新興應用領域的應用。

SynSense時識科技今年也戰(zhàn)略收購了瑞士類腦視覺傳感器公司iniVation，成為全球首家完整擁有類腦傳感和類腦計算技術的公司，可以充分發(fā)揮類腦感算的高效協(xié)同作用。SynSense時識科技目前正在推進工業(yè)安防、眼動追蹤、消費電子、航空航天和自動駕駛等領域的類腦技術落地。

人工智能的飛速發(fā)展有目共睹，人工智能的應用已經從早年前的理論和小型測試發(fā)展到現(xiàn)在的企業(yè)級用例。類腦技術正是為了解決人工智能思考的難題，模擬人類大腦處理信息的機制使得相關芯片及相應的硬件系統(tǒng)能夠像人類一樣思考，成為真正意義上的人工智能。現(xiàn)在不斷突破的類腦技術正推動著智能應用走向顛覆性的變革。

小結

前沿技術的突破為類腦技術的落地提供了強有力的支持，類腦技術與視覺傳感的融合打破了傳統(tǒng)視覺傳感的局限，為下一代智能視覺傳感指明了一條清晰的技術道路。可以說，類腦技術正在為智能應用開辟新的道路。