Prophesee就像一臺動力十足的小馬達。這家由Luca Verre經(jīng)營的法國初創(chuàng)公司推出了第五代基于事件的成像傳感器，并開始進軍大眾消費市場，顯示了其頑強的生命力。沒有什么能阻止Verre和他的團隊不遺余力地尋找適合其神經(jīng)形態(tài)視覺系統(tǒng)的市場。目前的未知數(shù)是，AR/VR是否是能為Prophesee打開批量市場的領域，如果是，可能需要多長時間。

2014年，一項獨特的生物啟發(fā)（bio-inspired）視覺技術是一筆巨大的財富，足以說服一個學者團隊和一位商人成立Prophesee公司。

Prophesee并沒有發(fā)明神經(jīng)形態(tài)（neuromorphic）計算。但它已成為在商業(yè)上實現(xiàn)其原理的先驅：人類不是根據(jù)一系列幀來記錄視覺信息。相反，他們捕捉感興趣的東西（空間和時間的變化），并將這些稀疏的信息高效地發(fā)送給大腦。

Prophesee在推廣基于事件的（event-based）傳感器方面做了大量的工作，但其努力尚未建立起規(guī)模市場。

由于大多數(shù)公司都習慣于拍攝基于幀的電影和視頻，要求他們改用完全陌生的技術是一個顛覆性的提議。這家初創(chuàng)公司的騰飛需要一些時間，因為它的商業(yè)影響力還很小，業(yè)務發(fā)展歷史也很短。

一方面，Prophesee有充分的機會將其基于事件的技術應用到各行各業(yè)的許多產(chǎn)品中。這家初創(chuàng)公司涉足的行業(yè)包括醫(yī)療、工業(yè)、汽車和智能手機等。

另一方面，擁有如此廣泛的機會也可能成為初創(chuàng)公司的致命傷，會把團隊拉向過多的方向，有可能造成資源緊張。

雖然Prophesee已經(jīng)在工業(yè)市場占有一席之地，但它仍然需要一種能夠產(chǎn)生大量需求的產(chǎn)品。

為了實現(xiàn)這一目標，Prophesee推出了第五代基于事件的傳感器，名為GenX320 Event-Based Metavision。該公司透露，其GenX傳感器體積小、功耗超低，有助于首次進入“邊緣”消費類設備市場，包括AR/VR頭戴設備、安全和監(jiān)控/檢測系統(tǒng)以及始終在線的智能連接設備。

踏入消費類市場

十年前，當Ryad Benosman、Bernard Gilly、Christoph Posch和Luca Verre創(chuàng)立這家初創(chuàng)公司時，AR/VR可能還不在他們的考慮范圍之內。

但今天，Prophesee認為AR/VR與其基于神經(jīng)形態(tài)計算的微型圖像傳感器“完美契合”。CEO Verre最近解釋說，Apple即將推出的Vision Pro等產(chǎn)品，內部使用了十幾個微型攝像頭，這引發(fā)了AR/VR市場的成熟，微型、超低功耗攝像頭能夠進行高速眼球追蹤，創(chuàng)造低延遲的沉浸式體驗。頭戴式顯示器的系統(tǒng)設計師需要能夠“減少散熱和降低計算負荷”的攝像頭。

Prophesee進軍消費市場反映了這家初創(chuàng)公司三年來將基于事件的視覺技術引入智能手機的努力。

Prophesee首先與Sony建立了合作關系，生產(chǎn)其第四代基于事件的圖像傳感芯片。Prophesee為智能手機市場帶來的價值來自于將事件數(shù)據(jù)與幀RGB信息相結合，從而提高圖像質量。因此，Prophesee與Qualcomm合作開發(fā)了一款去噪軟件應用，該應用可在Qualcomm Snapdragon移動平臺內的DSP上運行。

與Sony和Qualcomm兩家智能手機領域巨頭的合作顯然改變了Prophesee的發(fā)展態(tài)勢，也為其向消費者推廣產(chǎn)品壯了膽。有了這樣的合作伙伴，Prophesee得到了業(yè)界的關注。

Verre承認：“消費者對這項技術的興趣讓我們大吃一驚。隨后，我們開始關注IoT、AR、VR和頭戴式顯示器的應用。在Apple和Meta的帶領下，許多公司正在進入AR/VR領域。但是，Prophesee為智能手機設計的第四代基于事件的傳感器卻無法進入這一消費類市場。

同一知識樹

值得注意的是，在開發(fā)基于神經(jīng)形態(tài)技術的視覺系統(tǒng)方面，并非只有Prophesee一家公司。

正如Yole Intelligence的首席分析師Pierre Cambou所解釋的那樣，Prophesee“成長于一棵知識樹”，80年代加州理工學院的Carver Meed團隊和Misha Mahowald隨后發(fā)明的神經(jīng)形態(tài)硅視網(wǎng)膜。

Cambou解釋說，在這棵知識樹上成長起來的其它初創(chuàng)公司還包括IniVation（蘇黎世）、Celepixel（上海）、Insightness（蘇黎世）和Alpsentek（蘇黎世）。Cambou補充說，Samsung也在2014年涉足神經(jīng)形態(tài)技術，推出了DVS（Dynamic Vision Sensor）。

Cambou預測，Prophesee有望成為其中最成功的公司，這主要歸功于其IP、由Verre領導的“一流”團隊以及與行業(yè)領導者建立合作關系的商業(yè)模式。

芯片生產(chǎn)

Prophesee不僅僅是一家應用公司。芯片生產(chǎn)至關重要，因為該公司基于神經(jīng)形態(tài)計算的成像傳感器不能繼續(xù)作為小眾精品技術。這種傳感器必須更便宜，并以更小的占地面積和更低的功耗批量生產(chǎn)。

在這方面，從與Tower Jazz合作開發(fā)第三代VGA傳感器到與Sony聯(lián)合開發(fā)第四代高清傳感器，Prophesee走過了不平凡的道路。Verre表示，與Sony的合作使Prophesee得以使用Sony的wafer-to-wafer堆疊工藝。這家初創(chuàng)公司能夠將基于事件的傳感器縮小10倍。

Verre說：“自從我們在2021年底推出第四代成像傳感器以來，我們看到了更多的機會。不僅在我們已經(jīng)使用第三代傳感器活躍的工業(yè)市場，而且在消費領域也有越來越多的機會。”

Prophesee最新推出的GenX320芯片尺寸為3x4mm，由ST在法國生產(chǎn)。這家初創(chuàng)公司解釋說，320×320 6.3μm像素BSI（Back-side Illuminated）堆疊事件視覺傳感器提供了極小的1/5英寸光學格式。Verre說，雖然Sony制造Prophesee第四代基于事件的傳感器時，“堆疊”是一種新的工藝技術，但現(xiàn)在它已廣泛應用于CMOS傳感器。ST將其用于ToF傳感器。

讓技術切換更容易

在擁有顛覆性技術的初創(chuàng)公司必須完成的任務中，有一項在業(yè)內鮮有討論：初創(chuàng)企業(yè)是否做好了準備，讓客戶能夠用新技術取代舊技術。

Verre說，讓潛在客戶驚嘆于新的顛覆性技術是一回事。在“驚艷”之后做出承諾則完全是另一回事。Verre解釋說，無論是Tier 1還是汽車OEM，大客戶希望初創(chuàng)公司能夠做到一切，以便他們能夠輕松、沒有任何麻煩地進行切換。

對于GenX320，Prophesee認為已經(jīng)做足了功課。

首先，它在GenX中集成了片上電源管理模式，將傳感器的功耗降至36μW以下，并啟用了“智能喚醒事件（smart wake-on-events）”。Verre說，通過允許傳感器按順序喚醒像素，GenX將從μW至3mW的超低功耗模式開始。

其次，Prophesee試圖讓GenX 320“為AI做好準備”。Prophesee配置了額外的“智能塊（smart blocks）”，對事件數(shù)據(jù)進行預格式化，因為基于事件的傳感器產(chǎn)生的數(shù)據(jù)必須能夠輕松地與主流AI處理器配合使用。

Verre解釋說：“理想情況下，你希望有一個神經(jīng)形態(tài)計算平臺來處理我們基于事件的傳感器數(shù)據(jù)。”雖然Prophesee一直在與Intel的Loihi以及Brainchip和其他神經(jīng)形態(tài)計算公司合作，但Verre指出，這些平臺還不是主流。

因此，為了讓GenX能夠與“大多數(shù)使用AMD、Renesas、NXP或Qualcomm等主流平臺（這些平臺都針對處理幀進行了優(yōu)化）”協(xié)同工作，Verre說，“我們需要預先格式化基于事件的數(shù)據(jù)”。

第三，Prophesee正在提供MIPI（Mobile Industry Processor Interface）或 CPI（Common Programming Interface）數(shù)據(jù)輸出接口，實現(xiàn)與嵌入式處理器平臺的低延遲連接。Verre解釋說：“這是我們?yōu)榇龠M基于事件的圖像傳感技術與現(xiàn)有生態(tài)系統(tǒng)的整合所做的嘗試。”

批量生產(chǎn)

Prophesee GenX320的批量生產(chǎn)已經(jīng)開始，已開始批量發(fā)貨。

Verre說：“Prophesee幾乎一年前就收到了工程樣品，并與30至40家客戶分享了這些樣品，這些客戶已經(jīng)在評估我們的技術。”

除了推出GenX成像傳感器，Prophesee還提供攝像頭模組和評估套件。

在這30-40家客戶中，Prophesee主要依靠Zinn Labs、Xperi和Ultraleap等早期采用者。

Zinn Labs（加州Menlo Park）正在開發(fā)基于Prophesee Metavision事件傳感器的先進視線追蹤系統(tǒng)（移動和汽車頭戴式顯示器）。據(jù)Zinn Labs稱，新型GenX320傳感器可滿足以毫秒級時間尺度變化的眼球和注視運動的需求。Verre解釋說，Zinn Labs使用基于事件的傳感器，可以達到1KHz或更高的眼球追蹤速度，功耗低于20mW。Verre補充說，相比之下，基于幀傳感器的最先進的眼球追蹤速度僅為60-120Hz，功耗高達2W。

作為GenX320的另一個早期采用者，Xperi已承諾使用Prophesee基于事件的傳感器，Verre指出，此外還有之前展示過的DMS。他說：“他們目前還在為基于GenX320的智能消費類設備做一些原型開發(fā)工作，這些設備更多地與家用電器有關。”

Prophesee還與手部追蹤系統(tǒng)領域的領先企業(yè)Ultraleap建立了合作關系。Verre解釋說，Ultraleap使用Prophesee基于事件的技術的主要優(yōu)勢是高速追蹤和低功耗。

Verra說，在手部追蹤和眼部追蹤中，基于事件的圖像傳感器可以同時實現(xiàn)高速和低功耗，解決了“幀基相機面臨的一個基本挑戰(zhàn)”。他指出，每秒運行500-600幀的相機會產(chǎn)生大量數(shù)據(jù)，在有限的功耗預算下很難進行實時處理。

創(chuàng)新者的窘境

Yole的Cambou分析說，Prophesee在2019年決定與Sony合作使用芯片堆疊工藝技術時，就已經(jīng)播下了成功的種子。隨后開發(fā)的兩款傳感器實現(xiàn)了業(yè)界最小的像素尺寸（4.86μm）。

Cambou說：“有了這樣的分辨率和光學格式，移動、汽車和工業(yè)等許多市場都在Prophesee的觸及范圍之內。”

然而，Cambou說：“如此激進的創(chuàng)新（生成一個非馮諾依曼異步設備），以微秒級分辨率產(chǎn)生圖像數(shù)據(jù)，其速率只有每秒10,000幀的科學相機才能達到，就像外星技術登陸時代廣場一樣。”他解釋說，換句話說，業(yè)界看到的是一種紙面上看起來很酷的技術，但對于需要時間來摸索如何利用這種技術的市場來說，這種技術卻顯得很遙遠。

這就像Clayton Christensen的“創(chuàng)新者的窘境”所描述的那樣，擁有顛覆性技術的初創(chuàng)公司必須追求現(xiàn)有市場，否則就必須通過創(chuàng)造一個新市場來實現(xiàn)這一目標。Cambou認為，Prophesee一直在“盡可能快地教育生態(tài)系統(tǒng)，為自己創(chuàng)造空間”。

Prophesee目前有130名員工，大部分在法國。Verre解釋說，該公司還在上海設立了辦事處。該公司獲得了Intel、Bosch、小米和雷諾等公司的投資。

與專注于制造攝像頭的競爭對手不同，Prophesee專門開發(fā)傳感器，其主要追求的應用領域是邊緣市場。Verre說：“現(xiàn)在市場上有超過500億顆攝像頭，每年出貨量達約是30億。大多數(shù)被用于傳感類型的應用，包括工業(yè)設備中的計算攝影、監(jiān)控或機器視覺。”在這些領域，Prophesee看到了其技術的更多機會。

Prophesee所商業(yè)化并引入成像市場的顛覆性技術讓許多公司驚艷，但讓他們買賬卻是另一回事。然而，如果神經(jīng)形態(tài)成像傳感器最終開始影響各行各業(yè)的相機，就像AI影響各行各業(yè)一樣，Yole的Pierre Cambou相信，有朝一日Prophesee的收入可能會達到10億美元，在CMOS成像傳感器市場占據(jù)5%的份額。他說：“這一天可能會比許多人預測的來得更早。”






審核編輯：劉清