全球大流行催化了視頻會議的繁榮，隨著公司采用混合工作模式并尋求更可持續(xù)的業(yè)務(wù)溝通方法，減少差旅，視頻會議的繁榮繼續(xù)增長。現(xiàn)在，隨著視頻會議成為現(xiàn)代商業(yè)實(shí)踐的基石，系統(tǒng)開發(fā)人員的任務(wù)是改善用戶體驗(yàn)，同時提供更高水平的功能和性能。除了標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭之外，對創(chuàng)新商業(yè)通信解決方案的需求推動了對 360° 視頻會議攝像頭等技術(shù)的需求，這些技術(shù)可以創(chuàng)造身臨其境的混合會議體驗(yàn)。

最新的 360° 攝像頭提供會議室的全景視圖，捕捉所有現(xiàn)場與會者。觀眾還可以在房間內(nèi)進(jìn)行數(shù)字平移、傾斜和縮放，就像他們真的在場一樣。這為遠(yuǎn)程參與者提供了身臨其境的體驗(yàn)，通過創(chuàng)建有機(jī)的面對面交互來促進(jìn)自然協(xié)作。

利用 AI 的強(qiáng)大功能，開發(fā)人員可以創(chuàng)建具有增強(qiáng)功能和最低硬件要求的下一代視頻會議系統(tǒng)。讓我們探索一種這樣的創(chuàng)新視頻會議實(shí)現(xiàn)方案，其中四個 4K 攝像頭連接到一個高性能 AI 視覺處理器。這創(chuàng)建了一個系統(tǒng)，該系統(tǒng)提供寬廣的 360° 全景視圖，以及單個會議參與者的視圖，以及參與者跟蹤和自動拼接等功能。此外，這些全景視圖可以與高分辨率的 360° 去畸變技術(shù)相結(jié)合，以提供整個房間的更清晰、不失真的視圖。

這款下一代系統(tǒng)的核心是 Ambarella 片上系統(tǒng) （SoC） 內(nèi)部的 CVflow? 高級 AI 引擎，該引擎專為高效率、高性能和低延遲應(yīng)用而設(shè)計(jì)。只需一個芯片，CVflow 引擎就使開發(fā)人員能夠?qū)崿F(xiàn)一套 AI 驅(qū)動的功能，這些功能可以在多個感興趣的區(qū)域同時運(yùn)行，包括：

• 人臉識別 （Face ID）： 支持跨不同攝像頭對多個參與者進(jìn)行自動取景、跟蹤和重新識別
• 背景去除： 提供干凈、專業(yè)的視頻源
• 手勢檢測和分類： 使演示者能夠通過簡單的手勢控制攝像機(jī)
• 白板內(nèi)容提取： 通過識別白板內(nèi)容來增強(qiáng)協(xié)作;優(yōu)化其外觀并提高其可讀性
• Vivid HDR（AI 輔助色調(diào)映射）： 通過使用 AI 為同一房間內(nèi)處于截然相反的照明條件下的參與者提供更寬的動態(tài)范圍（例如，一個靠近窗戶，另一個位于光線不足的角落），從而在傳統(tǒng)處理的基礎(chǔ)上提高圖像質(zhì)量

除了與視覺相關(guān)的功能外，我們 SoC 中的 CVflow AI 引擎還支持 AI 音頻功能的實(shí)現(xiàn)，例如：

• Voice ID： 結(jié)合 Face ID 識別并定位個人語音;消除非目標(biāo)聲部以獲得更清晰的音頻
• 基于 AI 的噪聲分類和抑制： 實(shí)時識別不需要的聲音（例如咳嗽、吠叫或割草機(jī)）并抑制它們，消除分散注意力的噪音

除了這些 AI 功能之外，利用 Ambarella CVflow SoC 的實(shí)現(xiàn)還提供了幾個關(guān)鍵的技術(shù)優(yōu)勢：

• 為多相機(jī)和單相機(jī)解決方案提供業(yè)界領(lǐng)先的圖像信號處理性能
• 8K 視頻編碼，支持高分辨率的多個感興趣區(qū)域 - 放大距離攝像頭較遠(yuǎn)的參加者，而不會降低視頻質(zhì)量
• 動態(tài)拼接，可在組合來自多個攝像頭的圖像時最大限度地減少偽影
• 從攝像頭到顯示器的超低延遲 （80 毫秒） - 遠(yuǎn)低于 Microsoft Teams 規(guī)范

上述示例中的全面功能和技術(shù)優(yōu)勢顯著增強(qiáng)了視頻會議體驗(yàn)，與以前基于 FPGA 的系統(tǒng)相比，這帶來了更具成本效益和能效的解決方案。此外，利用帶有集成 CVflow AI 引擎的單個 SoC 以及 Ambarella 的工具，提供了一個強(qiáng)大的開發(fā)環(huán)境，能夠支持各種算法，并在不影響功能或性能的情況下提供更高程度的設(shè)計(jì)靈活性和簡單性。

展望未來，將 AI 集成到視頻會議系統(tǒng)中將需要更強(qiáng)大、更高效的處理器，這些處理器既能夠支持豐富的基于 AI 的功能，又能提供卓越的圖像質(zhì)量。通過利用 AI 的強(qiáng)大功能，我們不僅增強(qiáng)了視頻通話，還重新構(gòu)想了混合工作和遠(yuǎn)程通信的本質(zhì)。