下面這幾張圖的內容分別是什么?你或許一眼就能看出是打麻將、競速摩托、香檳、熊貓。

但人工智能不一定可以。

雖然人工智能已經強大到可以識別萬物，但很多AI模型只能完成單一的任務，比如識別單一的物體，或者識別風格較為統一的照片，如果換一種類型或者風格，就愛莫能助。

現在，有一位“書生”，對于這不同類型的圖，它都能較為準確地識別出其中的內容，包括圖畫。

這需要有獨特的模型訓練及標簽體系，也要求模型具有一定的通用性，這樣才能對不同類型的圖片做出準確的描述。

這位“書生”正是去年11月，由上海人工智能實驗室聯合商湯科技、香港中文大學、上海交通大學，聯合發布的通用視覺技術體系“書生”(INTERN)。

今天，為了幫助業界更好地探索通用視覺AI技術，基于“書生”技術體系的通用視覺平臺OpenGVLab正式發布并開源。

OpenGVLab開放的內容包括其超高效預訓練模型，和千萬級精標注、十萬級標簽量的公開數據集，為全球開發者提升各類下游視覺任務模型訓練提供重要支持。

同時，OpenGVLab還同步開放業內首個針對通用視覺模型的評測基準，便于開發者對不同通用視覺模型的性能進行橫向評估和持續調優。

目前OpenGVLab開源平臺(opengvlab.shlab.org.cn)已正式上線，供各界研究人員訪問和使用，后續項目還將開通在線推理功能，供所有對人工智能視覺技術感興趣的社會人士自由體驗。

超高性能模型，展現極強的通用性

OpenGVLab繼承了“書生”體系的技術優勢，其開源的預訓練模型具有超高的性能和通用性。

具體而言，相較于當前最強開源模型(OpenAI 于2021年發布的CLIP)，OpenGVLab的模型可全面覆蓋分類、目標檢測、語義分割、深度估計四大視覺核心任務，在準確率和數據使用效率上均取得大幅提升。

基于同樣的下游場景數據，開源模型在分類、目標檢測、語義分割及深度估計四大任務26個數據集上，平均錯誤率分別降低了40.2%、47.3%、34.8%和9.4%。

開源模型在分類、檢測、分割和深度估計中，僅用10%的下游訓練數據就超過了現有其他開源模型。

使用此模型，研究人員可以大幅降低下游數據采集成本，用極低的數據量，即可快速滿足多場景、多任務的AI模型訓練。

OpenGVLab還提供多種不同參數量、不同計算量的預訓練模型，以滿足不同場景的應用。模型庫中列出了多個模型，其在ImageNet的微調結果和推理資源、速度，相比于之前的公開模型均有不同程度的性能提升。

開放千萬級精標注數據集

高性能的模型，離不開豐富數據集的訓練。

除了預訓練模型，以百億數據總量為基礎，上海人工智能實驗室構建了超大量級的精標注數據集，近期將進行數據開源工作。

超大量級的精標注數據集不僅整合了現有的開源數據集，還通過大規模數據圖像標注任務，實現了對圖像分類、目標檢測以及圖像分割等任務的覆蓋，數據總量級近七千萬。開源范圍涵蓋千萬級精標注數據集和十萬級標簽體系。

目前，圖像分類任務數據集已率先開源，后續還將開源目標檢測任務等更多數據集。

此外，此次開源的超大標簽體系，不僅幾乎覆蓋了所有現有開源數據集，并在此基礎上擴充了大量細粒度標簽，涵蓋各類圖像中的屬性、狀態等，極大豐富了圖像任務的應用場景，顯著降低下游數據的采集成本。

研究人員還可以通過自動化工具添加更多標簽，對數據標簽體系進行持續擴展和延伸，不斷提高標簽體系的細粒度，共同促進開源生態繁榮發展。

首個通用視覺評測基準

伴隨OpenGVLab的發布，上海人工智能實驗室還開放了業內首個針對通用視覺模型的評測基準，彌補通用視覺模型評測領域的空白。

當前，行業中已有的評測基準主要針對單一任務、單一視覺維度設計，無法反映通用視覺模型的整體性能，難以用于橫向比較。

全新的通用視覺評測基準憑借在任務、數據等層面的創新設計，可以提供權威的評測結果，推動統一標準上的公平和準確評測，加快通用視覺模型的產業化應用步伐。

在任務設計上，OpenGVLab提供的通用視覺評測基準創新地引入了多任務評測體系，可以從分類、目標檢測、語義分割、深度估計、行為識別等5類任務方向，對模型的通用性能進行整體評估。

不僅如此，該評測基準新加了僅用測試數據集10%數據量的評測設定，可以有效評估通用模型在真實數據分布下的小樣本學習能力。在測試后，評測基準還會根據模型的評測結果給出相應的總分，方便使用者對不同的模型進行橫向評測。

隨著人工智能與產業融合的不斷深入，行業對人工智能的需求逐漸從單一任務向復雜的多任務協同發展，亟需構建開源、開放的體系，以滿足趨于碎片化和長尾化的海量應用需求。

OpenGVLab的開源，將幫助開發者顯著降低通用視覺模型的開發門檻，用更低成本快速開發用于成百上千種視覺任務、視覺場景的算法模型，高效實現對長尾場景的覆蓋，推動通用AI技術的規模化應用。

歡迎大家加入OpenGVLab，一起構筑通用AI生態。

原文標題：通用視覺研究利器來了!OpenGVLab平臺正式開源

文章出處：【微信公眾號：商湯科技SenseTime】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅