科技云報道原創(chuàng)。

在數(shù)據(jù)標注行業(yè)流行著一句話：“有多少智能，就有多少人工”。

由于需要標注的數(shù)據(jù)規(guī)模龐大且成本較高，一些互聯(lián)網(wǎng)巨頭及一些AI公司很少自己設有標注團隊，大多交給第三方數(shù)據(jù)服務公司或者數(shù)據(jù)標注團隊來做。

這也衍生出了專為AI而生的人力密集型的數(shù)據(jù)標注產(chǎn)業(yè)鏈。

例如，眾包平臺Mechanical Turk上的20萬名AI數(shù)據(jù)標注員，就分布在人力成本低廉的非洲和東南亞。印度甚至涌現(xiàn)了不少數(shù)據(jù)標注村，他們?yōu)槊绹W洲、澳洲和亞洲的AI公司服務。

在中國，上百萬名 AI 數(shù)據(jù)標注員分布在貴州、山西、山東、河南等省份的二三線城市，并逐步向人力成本更低的縣城滲透。

但諷刺的是，數(shù)據(jù)標注員正在被自己服務的AI所替代，已經(jīng)有企業(yè)開始采用AI進行數(shù)據(jù)標注。

據(jù)彭博社1月14日報道，蘋果公司將關閉圣地亞哥一個與人工智能業(yè)務相關的121人團隊，這將導致數(shù)據(jù)標注員面臨被解雇的風險。

那么，人工數(shù)據(jù)標注能否真的被AI全面替代，我們又是否會進入“AI訓練AI”的時代呢？

AI自動化標注崛起

訓練一個高效的大模型必不可少的是高質量的數(shù)據(jù)。OpenAI正是借助基于人類標注的數(shù)據(jù)，才一舉從眾多大模型企業(yè)中脫穎而出，讓ChatGPT成為了大模型競爭中階段性的勝利者。

但同時，OpenAI也因為使用非洲廉價的人工進行數(shù)據(jù)標注，被各種媒體口誅筆伐。

對于數(shù)據(jù)標注，一定需要找到一個新的方法，才能避免大量使用人工標注帶來的包括道德風險在內(nèi)的其他潛在麻煩。

因此，全球各大AI巨頭和大型獨角獸，都在進行數(shù)據(jù)標注自動化的探索。

蘇黎世大學研究發(fā)現(xiàn)，ChatGPT平均每個標注成本低于0.003美元，比眾包平臺便宜20倍；在相關性、立場、主題等任務中，ChatGPT也是以4:1的效率優(yōu)勢“碾壓”人類。

來自卡耐基梅隆大學、耶魯大學和加州大學伯克利分校的一組研究人員更是發(fā)現(xiàn)：GPT-4在數(shù)據(jù)集標注表現(xiàn)上優(yōu)于他們雇用的最熟練的眾包員工。

這一突破為研究人員節(jié)約了超過50 萬美元和2萬個工時。

論文發(fā)出后，有網(wǎng)友評論稱“這是直接端了平臺工作者的飯碗”。

目前在自動駕駛領域，已經(jīng)有車企開始采用AI進行自動化標注。

例如，特斯拉一直在積極推進自動化標注的進展，從2018至今，特斯拉的標注經(jīng)歷了4個階段：

第1階段(2018)：只有純?nèi)斯さ亩S的圖像標注，效率非常低；

第2階段(2019)：開始有3D label，但是是單趟的人工的；

第3階段(2020)：采用BEV空間進行標注，重投影的精度明顯降低；

第4階段(2021)：采用多趟重建去進行標注，精度、效率、拓撲關系都達到了極高的水準。

2022年6月，特斯拉裁撤了200名為特斯拉標注視頻以改進輔助系統(tǒng)的美國員工。

目前，特斯拉的自動標注能力大幅改善，標注10000個不到60秒的視頻，大模型只需要運行一周即可，而同樣的工作量人工標注卻需要幾個月的時間。

在國內(nèi)，理想汽車董事長兼CEO李想曾在2023年4月份舉行的一場論壇上表示，當理想汽車使用軟件2.0的大模型，通過訓練的方式進行自動化標定，過去需要用一年做的事情，基本上3個小時就能完成，效率是人的1000倍。

不僅如此，自動化標注工具也在飛速發(fā)展。

國外AI初創(chuàng)公司refuel推出了一個名為Autolabel的開源工具，可以使用市面上主流的大模型來對數(shù)據(jù)集進行標注。

該公司的測試結果稱，Autolabel的標注效率相比人工標注提高了100倍，成本僅為人工成本的1/7。

國內(nèi)一家名為視智未來的公司也在打造標注大模型。他們表示，有些項目已經(jīng)用GPT交付了，準確率方面達到了80%多，與人工接近。

不得不說，在AI面前，無論成本還是效率，人類可以說是毫無優(yōu)勢。

RLAIF：AI標注訓練方法

話說回來，ChatGPT是怎么搶了數(shù)據(jù)標注員的“飯碗”的？

以往數(shù)據(jù)標注員要干的事情，是將標注好的數(shù)據(jù)用作AI模型的訓練集或評估標準，這個過程叫做RLHF（Reinforcement Learning from Human Feedback），即基于人類反饋的強化學習。

RLHF也是被ChatGPT、Bard和LLaMA等新興大模型帶火的模型訓練方法，它最大的好處就在于能夠將模型和人類的偏好對齊，讓大模型給出更符合人類表達習慣的回答。

不過發(fā)布在arXiv的一份論文表明，這份看起來只有人類能做的工作，也能被AI取代。AI取代了RLHF中的“H”，誕生了一種叫做“RLAIF”的訓練方法。

這份由谷歌研究團隊發(fā)布的論文顯示，RLAIF能夠在不依賴數(shù)據(jù)標注員的情況下，表現(xiàn)出能夠與RLHF相媲美的訓練結果——

如果拿傳統(tǒng)的監(jiān)督微調（SFT）訓練方法作為基線比較，比起SFT，1200個真人“評委”對RLHF和RLAIF給出答案的滿意度都超過了70%（兩者差距只有2%）；另外，如果只比較RLHF和RLAIF給出的答案，真人評委們對兩者的滿意度也是對半分。

具體而言，研究人員主要就“根據(jù)一段文字生成摘要”這一任務，展示了RLAIF的標記方法。

首先是序言（Preamble），用來介紹和描述手頭任務的說明。給定一段文本和兩個可能的摘要，輸出1或2來指示哪個摘要最符合上述定義的連貫性、準確性、覆蓋范圍和整體質量。

其次是樣本示例（1-Shot Exemplar）。給到一段文本，接著給到兩個摘要，以及“摘要1更好”的偏好判斷，讓AI學著這個示例對接下來的樣本做標注。

再次就是給出所要標注的樣本（Sample to Annotate），包括一段文本和一對需要標記的摘要。

最后是結尾，用于提示模型的結束字符串。

就像人類標注員會給不同的回答打分一樣（比如滿分5分），AI也會依據(jù)偏好給每個摘要打分，這也是AI和人類標注員發(fā)揮作用的關鍵環(huán)節(jié)，主要是用于訓練獎勵模型（RM）并生成反饋內(nèi)容。

論文介紹到，為了讓RLAIF方法中AI標注更準確，研究者也加入了其他方法以獲取更好的回答。

譬如為了避免隨機性問題，會進行多次選擇，其間還會對選項的順序進行交換；此外還用到了思維鏈（CoT）推理，來進一步提升與人類偏好的對齊程度。

需要說明的是，谷歌的這篇論文也是第一個證明了RLAIF在某些任務上能夠產(chǎn)生與RLHF相當?shù)挠柧毿Ч难芯俊＿@意味著不用人類指點，AI也能訓練自己的同類了。

該論文的發(fā)布很快收獲了不少關注。比如有從業(yè)者評論道，等到GPT-5可能就不需要人類數(shù)據(jù)標注員了。

盡管這項工作凸顯了RLAIF的潛力，但依然有一些局限性：

首先，這項研究僅探討了摘要總結任務，關于其他任務的泛化性還需要進一步研究。

其次，研究人員沒有評估LLM推理在經(jīng)濟成本上是否比人工標注更有優(yōu)勢。

此外，還有一些有趣的問題值得研究，例如RLHF與RLAIF相結合是否可以優(yōu)于單一的一種方法，使用LLM直接分配獎勵的效果如何，改進AI標注器對齊是否會轉化為改進的最終策略， 以及是否使用LLM與策略模型大小相同的標注器可以進一步改進策略(即模型是否可以“自我改進”)。

重人力轉向重技術

盡管AI自動化標注技術在快速發(fā)展，但第三方數(shù)據(jù)標注服務商并沒那么樂觀。

河南一家眾包平臺的項目經(jīng)理認為，自動化標注還不能取代60%以上的標注需求，只能作為輔助標注工具處理單一或特定數(shù)據(jù)，提升人效。

另一家數(shù)據(jù)標注公司的產(chǎn)品經(jīng)理認為，自動化標注只能過濾簡單的基礎數(shù)據(jù)，還不能像人一樣從復雜有爭議的場景中精確識別物體。

如果說簡單的標注可以用AI來完成，那么人工參與的將是難度更高的數(shù)據(jù)篩選和標準工作，這也意味著數(shù)據(jù)標注行業(yè)的門檻將會不斷提高。

作為對照，早在ChatGPT走紅前，OpenAI就組建十幾位博士生來“打標”。

而百度在海口的數(shù)據(jù)標注基地擁有數(shù)百名專職大模型數(shù)據(jù)標注師，標注師的本科率達到100%，需要具備一定的知識儲備和邏輯分析能力。

不過大家也認同，未來的數(shù)據(jù)標注將從重人力轉向重技術的趨勢。

一家眾包平臺的創(chuàng)始人在和同行交流時說，未來不能堆人力，要有研發(fā)能力。也有從業(yè)者認為，人工標注對于泛化仍然極其重要，而RLHF+RLAIF混合方法比任何單一方法都要好。

總之，不是被同行“卷死”，就是被技術“卷死”。數(shù)據(jù)標注公司已做好了隨時裁員的準備，同時向做自動化標注工具的方向發(fā)展。

【關于科技云報道】

專注于原創(chuàng)的企業(yè)級內(nèi)容行家——科技云報道。成立于2015年，是前沿企業(yè)級IT領域Top10媒體。獲工信部權威認可，可信云、全球云計算大會官方指定傳播媒體之一。深入原創(chuàng)報道云計算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領域。

審核編輯 黃宇