在智能座艙感知系統(tǒng)（如 DMS、OMS、安全帶識(shí)別、兒童遺留檢測等）逐漸從研發(fā)進(jìn)入大規(guī)模部署的階段，數(shù)據(jù)成為模型性能提升的核心瓶頸。尤其在現(xiàn)實(shí)采集成本高、隱私受限、長尾樣本稀缺的前提下，越來越多客戶將目光投向了“艙內(nèi)合成數(shù)據(jù)”。

在與算法供應(yīng)商和主機(jī)廠諸多客戶的交流過程中，我們也觀察到三個(gè)始終被反復(fù)提出的核心問題，本文為大家詳細(xì)揭秘：

一、模態(tài)是否豐富，能否覆蓋多任務(wù)模型需求？

相較于傳統(tǒng)車外感知任務(wù)，艙內(nèi)感知往往涉及多種任務(wù)并發(fā)：

（1）駕駛員狀態(tài)監(jiān)測（DMS）需提供 RGB、NIR、深度圖、紅外熱圖等；

（2）艙內(nèi)目標(biāo)識(shí)別（OMS）需識(shí)別成人、兒童、寵物及其關(guān)鍵點(diǎn)；

（3）安全帶/手勢(shì)/打電話等行為檢測需使用語義分割或姿態(tài)估計(jì)；

（4）基于時(shí)序的行為識(shí)別模型還需高幀率、長時(shí)間段的時(shí)序一致數(shù)據(jù)。

1、客戶普遍反饋

“不是只有圖像就夠了，我們訓(xùn)練要同時(shí)用 RGB、深度、語義 mask，還需要完整的關(guān)鍵點(diǎn)標(biāo)注。”

因此，一個(gè)面向艙內(nèi)場景的合成平臺(tái)，必須具備多模態(tài)輸出能力：

（1）支持同步輸出：RGB、NIR、IR、深度圖、分割圖、關(guān)鍵點(diǎn)、動(dòng)作標(biāo)簽；

（2） 每一幀支持完整 2D/3D 標(biāo)注（如人臉姿態(tài)、骨架、Bounding Box）；

（3）模態(tài)間具備嚴(yán)格的像素級(jí)對(duì)齊與時(shí)間同步。

不同分割標(biāo)準(zhǔn)的傳感器真值掩膜（左：材料分割掩膜 右：標(biāo)注分割掩膜）

二、是否支持高度可控的“邊緣艙內(nèi)場景”構(gòu)建？

現(xiàn)實(shí)座艙中的極端情況是艙內(nèi)模型失效的最大來源，例如：

（1）小孩被遺留在車內(nèi)后座但被玩具遮擋；

（2）夜間父母懷抱嬰兒但光照極弱；

（3）多人乘坐，后排座椅被倒下遮擋視野；

（4）駕駛員佩戴口罩、墨鏡、低頭、側(cè)臉、疲勞、抽煙等行為混合出現(xiàn)。

1、客戶直接表達(dá)

“這些是我們?cè)谡鎸?shí)測試中經(jīng)常出錯(cuò)的場景，能不能直接構(gòu)造出來，用來補(bǔ)訓(xùn)練集？”

所以平臺(tái)需要具備：

（1）多乘員、多體態(tài)、多遮擋物控制能力；

（2）情緒、疲勞、注意力偏移等狀態(tài)標(biāo)簽控制；

（3）光照條件（夜間、背光）、遮擋類型（雨傘、雜物）、視角模糊模擬能力；

（4）可腳本控制的場景生成引擎，如配置文件中直接設(shè)定“后排有兒童+玩具遮擋+車內(nèi)弱光”組合。

只有能合成這些“長尾”和“不可采集”的場景，合成數(shù)據(jù)才具備真正補(bǔ)全實(shí)采數(shù)據(jù)盲區(qū)的價(jià)值。

駕駛員佩戴墨鏡的場景

三、合成數(shù)據(jù)真實(shí)度是否支持模型訓(xùn)練與部署？

相比單純用于驗(yàn)證，艙內(nèi)合成數(shù)據(jù)平臺(tái)的客戶越來越傾向于用模型直接訓(xùn)練，這也就對(duì)“擬真程度”提出了更高要求：

1、客戶真實(shí)需求

“我們擔(dān)心合成圖太假，訓(xùn)練完上車精度掉得厲害。你們的合成數(shù)據(jù)真實(shí)度有保證嗎？”

為了讓數(shù)據(jù)能用于實(shí)際訓(xùn)練，平臺(tái)需要從三方面確保高擬真性：

（1）真實(shí)人物建模

-多體型、種族、性別、穿著、年齡段（尤其是兒童與老人）；

-姿態(tài)逼真（靠座、打瞌睡、回頭、躺倒）；

-動(dòng)作/表情基于真實(shí)骨骼驅(qū)動(dòng)，避免“動(dòng)畫感”。
（2）真實(shí)座艙還原

-車輛內(nèi)飾結(jié)構(gòu)完整，覆蓋不同車型、座位布局；

-可配置裝飾物（抱枕、飾品）、反光材質(zhì)（玻璃、顯示屏）；

-支持模擬不同車型的FOV、分辨率、攝像頭位置偏移等。
（3）物理光照/材質(zhì)真實(shí)感

- 支持真實(shí) HDR 光照渲染；

- 模擬 IR/熱紅外成像特性；

- 加入模糊、噪聲、運(yùn)動(dòng)拖影、畸變等現(xiàn)實(shí)感知特性。

為了達(dá)到可用于實(shí)際訓(xùn)練的效果，合成數(shù)據(jù)平臺(tái)需要在圖像質(zhì)量、行為表現(xiàn)和傳感器建模等多個(gè)維度具備高保真能力，確保模型在部署后具備良好的泛化性能。

例如，圖像應(yīng)能準(zhǔn)確模擬真實(shí)攝像頭的曝光、模糊和遮擋；人物動(dòng)作需基于真實(shí)骨骼驅(qū)動(dòng)而非靜態(tài)拼接；同時(shí)還應(yīng)支持多種模態(tài)協(xié)同輸出，以滿足訓(xùn)練對(duì)數(shù)據(jù)質(zhì)量的一致性要求。

四、平臺(tái)實(shí)現(xiàn)參考：Anyverse 的應(yīng)用實(shí)踐

在平臺(tái)實(shí)現(xiàn)層面，Anyverse 提供了一個(gè)相對(duì)成熟的參考范式，覆蓋了艙內(nèi)感知數(shù)據(jù)合成中的多個(gè)關(guān)鍵環(huán)節(jié)。

1、模態(tài)生成方面

平臺(tái)支持多通道同步輸出，包括 RGB、NIR、深度圖、紅外圖、語義圖、關(guān)鍵點(diǎn)和動(dòng)作標(biāo)簽等，滿足多種感知模型的數(shù)據(jù)輸入需求；

2、場景構(gòu)建方面

平臺(tái)可以靈活配置人物數(shù)量、姿態(tài)、遮擋物、光照條件等變量，以生成多樣化甚至極端條件下的艙內(nèi)場景；

3、圖像與行為建模方面

平臺(tái)使用物理渲染與骨骼動(dòng)畫系統(tǒng)，對(duì)座艙結(jié)構(gòu)、乘員動(dòng)作及其與環(huán)境交互過程進(jìn)行了細(xì)致建模，提升了數(shù)據(jù)的真實(shí)感與一致性。

這些工程機(jī)制協(xié)同構(gòu)成了一個(gè)面向規(guī)模化訓(xùn)練的合成數(shù)據(jù)生成基礎(chǔ)，也為艙內(nèi)感知模型在復(fù)雜環(huán)境中的表現(xiàn)提供了有力支撐。

五、合成數(shù)據(jù)應(yīng)為艙內(nèi)感知系統(tǒng)“數(shù)據(jù)主力軍”

從客戶反饋出發(fā)，我們始終認(rèn)為：

合成數(shù)據(jù)的價(jià)值，不僅在于節(jié)省成本，更在于它能合成“你永遠(yuǎn)采不到、但必須要有”的關(guān)鍵場景。

真正面向工程落地的艙內(nèi)合成數(shù)據(jù)平臺(tái)，應(yīng)同時(shí)滿足以下三點(diǎn)：

（1）模態(tài)豐富、標(biāo)注完整

（2）邊緣場景可控、可批量

（3）圖像逼真、擬合實(shí)車部署

這將是支撐下一階段艙內(nèi)智能感知系統(tǒng)發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施。

我是分享自動(dòng)駕駛技術(shù)的康謀~