導盲犬可以很好地幫助盲人或視障人士出行,但是如果想辨別出前面路口的標識,或者想知道錢包里還有多少錢,導盲犬可就辦不到了。
由微軟AI研究小組開發的應用程序Seeing AI為這個問題給出了解決方案。該應用程序可為盲人和弱視用戶描述這個世界,使他們可以使用自己的智能手機來識別一切:包括單個物體、顏色、鈔票、文檔等。
自去年問世以來,這一應用程序的下載量已突破15萬次,執行任務500萬次,其中一些任務的服務對象還是全球知名的盲人。
“Stevie Wonder(美國知名藝人)每天都會用,這確實很令人振奮。”微軟高級數據科學家Anirudh Koul在3月于圣何塞舉行的GPU技術大會上發表演講時說道。
該應用程序的現場演示就已展現出了其強大的功能。和Koul一同上臺的還有他的一位同事,當他在自己的智能手機上運行應用程序,并將手機朝向他的同事時,應用程序描述他看到的是“一位31歲、有著黑頭發、戴著眼鏡且看起來很開心的男士”。
如果這位同事在他的聯系人列表中,則有更佳的使用效果,因為Seeing AI可以與用戶的聯系人進行整合,并能識別出朋友的名字。
Koul還分享了幾個令人嘆服的使用案例:一位盲人教師將運行該應用的手機面朝教室門口,這樣孩子們就不會因她是盲人而趁機偷偷進出教室;另一位用戶在颶風肆虐的地區穿行時,利用這款應用程序避開了倒落的電線和其他障礙物。
Seeing AI的開發始于2014年2月,開發人員曾試圖創建一個能發現并識別周圍物體的卷積神經網絡。但是其延遲時間達10秒,這樣的速度不能及時幫助人們快速作出決策。
第二年,微軟贊助了一場為期一周的黑客馬拉松,活動共吸引了13000人參與,并由此引發了第二次嘗試:在用戶的頭上配備手機。
在使用智能眼鏡進行試驗后,Koul的團隊開始著手于應用程序本身的開發工作。網絡本地訓練過程在NVIDIA GPU上進行,而較為繁重的工作則交給了基于NVIDIA Tesla P100 GPU運行的Azure云實例。通過逐幀分析確定每一部分訓練的發生位置。
AI調優
應用程序需要辨別不同圖像,而圖像屬性具有不確定性,所以開發人員針對此特性對模型進行了訓練。例如,如果訓練應用程序識別貨幣,則需要向訓練網絡內輸入不清晰和無背景的貨幣圖片,以及貨幣某一極小部分放大后的圖片,再讓其識別出圖片的真實內容。
該團隊向志愿者征集,最終得到了各種類型的圖片,其中包括一張貓咪玩紙幣的圖片,以及紙幣被封在冰塊中的照片。通過這些變量對模型進行訓練,最終就能夠計算出識別圖片所需的最小參數。
Koul的團隊對網絡進行了調整,使其傾向于得出否定性分類或不分類的結果,而不是猜測結果(這樣可能將5元鈔票識別成10元),因為猜測很顯然會給盲人用戶造成麻煩。
隨著用戶人數的增多,這款應用程序也將變得越好、越準確。AI將會成為盲人和視障用戶的福音。
-
智能手機
+關注
關注
66文章
18600瀏覽量
182814 -
AI
+關注
關注
87文章
33892瀏覽量
274796
原文標題:重見光明:深度學習幫助盲人“看”到世界
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
機器人和自動化的未來(2)

首創開源架構,天璣AI開發套件讓端側AI模型接入得心應手
英偉達GTC2025亮點 NVIDIA推出Cosmos世界基礎模型和物理AI數據工具的重大更新
Banana Pi 發布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計算與嵌入式開發
《零基礎開發AI Agent——手把手教你用扣子做智能體》
《AI Agent 應用與項目實戰》----- 學習如何開發視頻應用
FPGA+AI王炸組合如何重塑未來世界:看看DeepSeek東方神秘力量如何預測......
傳音深耕小語種AI語音技術 賦能新興市場用戶智慧生活

AI賦能邊緣網關:開啟智能時代的新藍海
全球手機用戶2024年為AI應用消費超12億美元
AI基礎數據服務是AI產業的關鍵支撐

評論