“我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺助手開發了一個手勢識別系統。”

- Yang Hao， Tsinghua University

挑戰：開發一個互動360度立體三維影像系統，可呈現視覺模型與真實物體，觀看者無需使用眼鏡，價格也十分合理。

方案：開發擁有如下3個組成部分的三維顯示系統： 收集、處理以及三維顯示。

Figure 1. 三維顯示系統

3D電影增強了深度知覺的光學幻象，但必須使用眼鏡才能觀看，而且電影院內的觀看角度有限。 立體顯示系統或3D電視機大多價格昂貴，沒有交互功能。 這也意味著，創造一個無需使用眼鏡、價格適中且能呈現視覺模型與真實物體三維圖像的互動360度立體顯示系統，是一項巨大的挑戰。

我們的系統包括三種類型的采集功能，包括建立視覺模型、NI 1764智能相機和轉臺非實時采集真實物體、以及4個USB攝像頭捕捉真實物體的實時圖像。

虛擬模型

為了獲取虛擬模型，我們采用了NI LabVIEW軟件來讀取虛擬三維模型文件并設定參數值 ，如圖2.2所示，我們將不同的方向采集到的4張模型圖組合在一起，形成一張圖片。 又如圖2.1和圖2.3所示，新創建的圖像被投射到一個倒置的金字塔光學結構上。

Figure 2. 成像原理

Figure 3. 虛擬模型顯示

Figure 4. 虛擬模型三維顯示項目

手勢識別

我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺助手開發了一個手勢識別系統。 系統捕捉一只手的圖像序列，以此判斷它的移動，我們可以采用此信息來控制三維顯示。 舉例來說，如圖6所示，單手滑動可以控制圖標的旋轉，兩只手則可以控制圖標的縮放。

Figure 5. 手勢識別

Figure 6. 采用視覺助手查找圖片中的對象

Figure 7. 手勢識別項目

非實時采集

非實時采集系統依靠于一個NI 1764智能相機和一個PXI控制的轉臺。 將物體放在轉臺上，并在其旋轉時拍攝圖像，我們可以獲取各個方向的物體信息，然后選出我們想要用來顯示三維圖像的四張圖片。

Figure 8. 非實時采集系統的硬件

Figure 9. 圖像采集

Figure 10. 真實物體三維顯示

Figure 11. 非實時采集系統項目

實時采集

我們在物體周圍放置著4個USB攝像頭，使用PXI和NI圖像采集軟件采集四個不同方向的實時圖像。 然后我們就對這些圖像進行處理，以光學結構顯示三維圖像。

Figure 12. 實時采集系統界面

Figure 13. 實時采集系統硬件

Figure 14. 實時采集系統硬件