Pine 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
又一“人類飯碗”被AI搶走,還是和訓(xùn)練AI息息相關(guān)的:
數(shù)據(jù)標(biāo)注。
蘇黎世大學(xué)研究發(fā)現(xiàn),在ChatGPT面前,無(wú)論成本還是效率,人類可以說(shuō)是毫無(wú)優(yōu)勢(shì):
- 成本上,ChatGPT平均每個(gè)標(biāo)注成本低于0.003美元,比眾包平臺(tái)便宜20倍;
- 效率上,在相關(guān)性、立場(chǎng)、主題等任務(wù)中,ChatGPT也是以4:1的優(yōu)勢(shì)“碾壓”人類。
論文發(fā)出后,有網(wǎng)友調(diào)侃,“生成訓(xùn)練數(shù)據(jù)需要人工”的說(shuō)法已經(jīng)成為過(guò)去式了。
還有人直呼“古籍修復(fù)數(shù)字化工作是不是有希望提速了”。
還有人看熱鬧不嫌事大,直接發(fā)推稱:
這是直接端了平臺(tái)工作者的飯碗。
話說(shuō)回來(lái),ChatGPT是怎么搶了數(shù)據(jù)標(biāo)注工作者的“飯碗”的?
ChatGPT在80%任務(wù)上占優(yōu)勢(shì)
首先得先了解下數(shù)據(jù)標(biāo)注工作的具體內(nèi)容。
簡(jiǎn)單來(lái)講,數(shù)據(jù)標(biāo)注就是給社交媒體上的內(nèi)容數(shù)據(jù)貼標(biāo)簽,將其以不同主題或者概念進(jìn)行分類,或是對(duì)其立場(chǎng)以及情緒進(jìn)行判別。
這些經(jīng)過(guò)標(biāo)注的數(shù)據(jù)就可以用作NLP模型的訓(xùn)練集或是評(píng)估標(biāo)準(zhǔn)。
以往,這類工作都是交由人工處理的,比如說(shuō)MTurk就是專門進(jìn)行數(shù)據(jù)標(biāo)注的一個(gè)眾包平臺(tái)。
在MTurk這類眾包平臺(tái)內(nèi)部,還會(huì)有更加精細(xì)的分工,比如說(shuō)會(huì)有經(jīng)過(guò)專業(yè)訓(xùn)練的數(shù)據(jù)標(biāo)注者以及眾包工作者。
前者在產(chǎn)出高質(zhì)量數(shù)據(jù)上具有優(yōu)勢(shì),但自然成本也更高,而后者雖然更便宜但質(zhì)量也會(huì)隨任務(wù)難度波動(dòng)。
于是研究團(tuán)隊(duì)就開(kāi)始著手研究大語(yǔ)言模型 (LLM)在這方面的潛力,并且對(duì)比了沒(méi)有額外訓(xùn)練 (zero-shot)的ChatGPT (基于GPT-3.5)和MTurk在數(shù)據(jù)標(biāo)注上的性能。
這項(xiàng)對(duì)比基于研究團(tuán)隊(duì)此前收集到的2382條推文樣本。
ChatGPT和MTurk分別將推文以“相關(guān)性、立場(chǎng)、主題、政策、實(shí)用性”這五種任務(wù)進(jìn)行標(biāo)注。
評(píng)估的標(biāo)準(zhǔn)有兩條:
- 準(zhǔn)確性:ChatGPT和MTurk眾包工作者相較于正確標(biāo)注的百分比;
- 編碼者間的一致性信度:用ChatGPT、MTurk眾包工作者以及專業(yè)數(shù)據(jù)標(biāo)注者任意二者之間的一致性來(lái)計(jì)算;
結(jié)果呢也顯而易見(jiàn),在 準(zhǔn)確性上,ChatGPT有五分之四的任務(wù)都要優(yōu)于MTurk眾包工作者。
在 一致性信度上,ChatGPT全部任務(wù)都超過(guò)了專業(yè)數(shù)據(jù)標(biāo)注者。
成本方面,開(kāi)頭也已經(jīng)提過(guò),ChatGPT平均每條比人工便宜20倍,何況AI還能24*7無(wú)休。
不過(guò)對(duì)于研究團(tuán)隊(duì)得出的這個(gè)結(jié)論并不是所有網(wǎng)友都買賬,有人表示:
這五條任務(wù)都太單一了,難度也是。僅憑這一點(diǎn)就得出這樣的結(jié)論可靠性存疑。
甚至還有網(wǎng)友嘲諷了起研究樣本太少來(lái):
(竟然)只用 2382條推文做樣本。
“飯碗威脅”不止數(shù)據(jù)標(biāo)注
現(xiàn)在,AI會(huì)不會(huì)完全取代某一類工作還不好說(shuō),但它會(huì)在一定程度上影響人類工作是毋庸置疑的。
上周,OpenAI就發(fā)布過(guò)一份分析報(bào)告,稱有80%的工作都會(huì)在一定程度上受到ChatGPT的影響,19%的崗位會(huì)受到ChatGPT的嚴(yán)重沖擊。
并且薪資越高的職業(yè)受到的沖擊就越大。
OpenAI還進(jìn)一步列出了會(huì)被影響的 具體職業(yè),從大到小依次是:
翻譯從業(yè)者、文字創(chuàng)作者 (包括詩(shī)人、作家等)、公關(guān)人員、數(shù)學(xué)家、稅務(wù)編制人員、區(qū)塊鏈工程師、財(cái)務(wù)工作者、媒體從業(yè)者……
△圖源:OpenAI
除此之外,OpenAI的CEO奧特曼也不止在一個(gè)場(chǎng)合下說(shuō)過(guò)“AI會(huì)取代現(xiàn)有的部分工作”。
前不久,MidjourneyV5大升級(jí)也是讓不少人類畫師直呼飯碗不保。
emmmmmm,你覺(jué)得你的飯碗還保得住嗎?
— 完—
【AIGC 技術(shù)探索與應(yīng)用創(chuàng)新】
4月13日「掘金城市沙龍·北京站」
限量免費(fèi)參會(huì)!
從 ChatGPT看, AI 模型服務(wù)化趨勢(shì)是怎樣的?AIGC 新時(shí)代下, 文本智能創(chuàng)作面臨什么樣的變革?如何 輕松訓(xùn)練 AIGC 大模型?基于大模型的 AIGC 工作原理和 應(yīng)用場(chǎng)景是什么樣?
暢聊「AIGC 技術(shù)探索與應(yīng)用創(chuàng)新」, 字節(jié)跳動(dòng) AI Lab算法工程師陳家澤、 英特爾AI軟件工程師楊亦誠(chéng)、 google Cloud機(jī)器學(xué)習(xí)專家王順、 清華大學(xué) KEG知識(shí)工程實(shí)驗(yàn)室研究助理鄭勤鎧、 九合創(chuàng)投 COO張少宇、 稀土掘金江昪等多位業(yè)界專家已集結(jié)完畢!
4月13日下午, 北京大鐘寺地鐵站方恒時(shí)尚中心,邀你線下參會(huì),更有多款稀土掘金原創(chuàng)周邊等你來(lái)!