明靜不想去醫院了。
她不想每次走進醫院時,都被護士或是分診臺導醫勸說,回家帶上父母再來。
“我只是嗓子不舒服,爸媽都65歲了,我不想這點事都讓他們陪。”
明靜是一名聽障人士。去醫院看病、接外賣電話、打一輛網約車或是辦一張銀行卡,每一件日常小事,對她這樣的聽障人士而言,都是困難重重。
“執教的這幾年,我做得最常見的工作,是陪學生去醫院看病。”明靜的老師——天津理工大學聾人工學院副院長袁甜甜感慨。
這所專門面向聽障人士的高等工科特殊教育學院,人稱“聾人小清華”,這里,容納著500多名像明靜這樣的學生。
2018年,聾人工學院的老師和學生們共同啟動了智能手語翻譯項目,并孵化出成果公司“鯨言科技”。
近幾年,百度先后與天津理工大學、鯨言科技合作,共同研發出百度智能云曦靈AI手語平臺與雙向手語翻譯機,讓手語的“聲音”,被更多人聽見。
//缺失的“基礎設施”
理解AI手語,先要了解聽障人群面臨的問題。第二次全國殘疾人抽樣調查數據顯示,我國大約有2004萬的聽力殘疾人,是世界上聽力殘疾人數最多的國家。
然而,無論線下線上,都鮮有能真正幫助聽障人群的服務設施。據調查,我國全職從事手語翻譯職業的人員不足千人,約97%的聾人因為手語翻譯的缺失面臨就診困難的問題。
手語是大多數聽力殘疾人的第一語言。但是,作為視覺語言,手語與健全人使用的有聲語言有著天然的不同,這種不同造就了聽障人群特有的思維邏輯,也構成了他們對有聲語言的理解困難。
袁甜甜從語言學的角度舉例,如果聽障人士說“滅火”,最先打出的手語是“火”,因為在視覺語言里最先出現的是所要闡述的重點人事物,聽障人士習慣于先表達人事物,再表達處理方式或多者之間的關系。
在她的課堂上也是如此,即使有實時翻譯語音的字幕,袁甜甜還是會用手語配合口語,方便同學們理解。
//會打手語的數字人
張帆在《無聲的綻放》中寫道,對于聽障問題,重要的是消除社會歧視,而非消除“不正常”;重要的是公正,而非藥物與慈善。
為幫助聽障人群解決“從手語到口語”的交流問題,2022年,百度推出了AI手語平臺,研發了針對線上場景的AI手語數字人和針對線下場景的雙向手語翻譯機,實現了“手語-漢語”的智能互譯。
在手語動作的專業性方面,百度智能云曦靈數字人產品團隊聯合手語語言學專家、特殊教育專家以及天津理工大學聾人工學院等,制定了面向人工智能應用的自然手語標注規范,建設了大規模自然手語翻譯語料庫,使模型能夠生成符合聽障人群習慣的自然手語。
通過百度數字人4D掃描技術訓練的AI手語數字人,不僅能呈現出真實生動的面部表情,還能借助動作融合算法,如真人般流暢表達11000多個《國家通用手語詞典》所涵蓋的手語動作,為聽障群體打造更具情感表現力的溝通體驗。
目前,百度的AI手語數字人已經能夠識別語音、打出手語,在實時直播中用數字人形象進行手語同步翻譯,在央視NBA直播、冬奧會開幕式上,都出現過百度的AI手語數字人主播。
//從輸出到理解,讓AI“聽懂手語”
隨著AI技術爆發與數字人的廣泛應用,大模型的對話也變得更加生動。
AI手語數字人在“打出手語”的基礎上,也開始嘗試“理解”聽障人士的手語表達。與只能單向輸出信息的模式相比,理解了手語的數字人能夠更好地完成雙向溝通的閉環。
從2024年開始,百度正式投入雙向手語翻譯機的研發及生產,這是多模態AI模型的典型應用,也是百度各項AI技術的集成。
當聽障人士打出手語之后,翻譯機需要先通過視覺識別及自然語言處理技術,將手語翻譯為漢語;健全人理解后,將要回復的內容通過語音識別驅動數字人翻譯,最終以手語和文字的形式,再呈現給聽障人士。其中,無論是視覺識別還是自然語言處理,都是AI模型的核心能力。
不過,只有模型能力遠遠不夠。
實際使用場景中,面臨著更多的技術考驗,比如:
◎聽障人士快速打出的手語時,會導致手部輪廓細節模糊,增加模型理解成本;
◎混雜的畫面背景會分散模型對手部區域的注意力,造成識別錯誤;
◎數據采集時出現的手語孤立詞會增加模型識別錯誤概率;
◎手語-漢語在語義等層面是多對多的關系,和具體使用場景有很強的相關性,任何不考慮語言學規律的“蠻力”翻譯都可能會造成天差地別的錯誤,影響聾健溝通的質量。
解決這些技術問題之后,模型還需要更多的訓練數據,而數據的標注要求工作者具備手語能力。因此,手語翻譯模型訓練及測試數據的生產、處理、分析基本都需要由手語使用者來完成。
近幾年,百度、天津理工大學、鯨言科技在全社會范圍內收集了近千萬自然手語(含視頻、文本、標注等)作為多模態模型訓練數據,終于在2024年完成了“雙向手語翻譯機”的研發。
//聽見手語的聲音
明靜也接觸了手語數據的采集工作。對產品進行交互性測試之后,她非常開心,“終于有人開始做這件事了”。
她是一個很樂觀的女孩,微信個性簽名是,“我還會選擇這滾燙的人生啊”。她希望自己的人生充滿可能性,而不是恐懼。她說,愿意拾起破碎的自己,愿意釋懷,愿意活在當下,愿意相信未來會更好。
2025年1月,中國殘聯等9部門聯合印發了《關于推進科技助殘的指導意見》,其中明確提到了“推動智能手語翻譯”的助殘措施。
越來越多的聽障人士,會在充滿聲音的世界中找到自己的位置;也會有越來越多的普通人,聽到手語翻飛的聲音。
-
AI
+關注
關注
87文章
32012瀏覽量
270869 -
百度
+關注
關注
9文章
2302瀏覽量
90903 -
模型
+關注
關注
1文章
3393瀏覽量
49364 -
數字人
+關注
關注
0文章
135瀏覽量
2110
原文標題:想用AI,幫助這2000萬人
文章出處:【微信號:baidu_2000,微信公眾號:百度】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
百度自動駕駛或進軍阿聯酋市場
百度文庫AI功能用戶量飆升,“自由畫布”公測啟動
百度百科啟動“繁星計劃”
百度小度將發布AI智能眼鏡
百度百舸AI計算平臺4.0震撼發布
2024百度移動生態萬象大會:百度新搜索11%內容已AI生成
日產汽車將搭載百度AI解決方案
百度搜索重磅推出AI圖片助手
創客打造智能眼鏡,助聽障人士理解手語
優必選宣布人形機器人Walker S接入百度文心大模型
百度將為蘋果今年國行iPhone16等設備提供AI功能
新火種AI|蘋果攜手百度共創AI手機,是“病急亂投醫”嗎?

評論