這可能是讓一眾數(shù)據(jù)分析師們頭大的消息。
【資料圖】
日前,有網(wǎng)友分享,稱阿里達(dá)摩院最近貼出來(lái)一個(gè)研究報(bào)告,關(guān)于用 GPT4取代數(shù)據(jù)分析師的成本核算。
他直接把報(bào)告里的結(jié)論列了出來(lái):
「除了所有數(shù)據(jù)分析師和GPT-4之間的可比績(jī)效外,我們可以注意到GPT-4所花費(fèi)的時(shí)間要比人類(lèi)數(shù)據(jù)分析師短得多。我們假設(shè)每個(gè)月有大約21個(gè)工作日,每天工作8小時(shí)左右,并根據(jù)每個(gè)級(jí)別的數(shù)據(jù)分析師所花費(fèi)的平均時(shí)間計(jì)算出每個(gè)實(shí)例在美元方面的成本。GPT4的成本約為初級(jí)數(shù)據(jù)分析員成本的0.71%和高級(jí)數(shù)據(jù)分析員成本的0.45%。」
有網(wǎng)友評(píng)論:還以為是71%和45%,仔細(xì)一看,是0.71%和0.45%!
還有人把這一結(jié)論概括為:成本爆破。
不過(guò),也有網(wǎng)友對(duì)這一研究結(jié)果提出質(zhì)疑:
看了一下論文原文,標(biāo)題黨的成分過(guò)高。論文中舉例,給高級(jí)數(shù)據(jù)分析師(9萬(wàn)美元/年薪)的測(cè)試題目是:“列出球員的位置和每個(gè)位置的球員平均得分。按條形圖可視化,按升序總數(shù)排序?"。這用得著高級(jí)分析師?但確實(shí)成本上有很大優(yōu)勢(shì)。
其實(shí),此前也有類(lèi)似的研究,不過(guò)當(dāng)時(shí)還是基于GPT-3.5,蘇黎世大學(xué)的研究人員研究其在復(fù)雜標(biāo)注任務(wù)上表現(xiàn),當(dāng)時(shí)的研究人員表示,機(jī)器學(xué)習(xí)模型在內(nèi)容處理和數(shù)據(jù)清洗方面的表現(xiàn)以及成本效益,已經(jīng)超過(guò)了眾包平臺(tái)上的人類(lèi)雇員。
論文提到,“我們發(fā)現(xiàn)在五分之四的任務(wù)中,ChatGPT 的零樣本準(zhǔn)確率都高于 MTurk(備注:MTurk 相當(dāng)于勞務(wù)眾包平臺(tái),申請(qǐng)人可以加入工作隊(duì)列、等待任務(wù)分配。)。此外,ChatGPT 的成本也遠(yuǎn)低于 MTurk:ChatGPT 處理這五個(gè)分類(lèi)任務(wù)(共25264條標(biāo)注)的總成本約為68美元,而 MTurk(共12632條標(biāo)注)的成本約為657美元?!毖芯咳藛T表示,按標(biāo)注數(shù)量計(jì)算,ChatGPT 的單位成本約為0.003美元,只相當(dāng)于 MTurk 的二十分之一,而且準(zhǔn)確率還更高。
當(dāng)然,所謂的更準(zhǔn)確仍然不夠準(zhǔn)確。蘇黎世大學(xué)政治學(xué)系政策分析教授、論文聯(lián)合作者之一 Fabrizio Gilardi 在采訪郵件中指出,ChatGPT 在某些任務(wù)中的準(zhǔn)確率還不到50%,但仍然優(yōu)于 MTurk 眾包雇員。
也許短時(shí)間內(nèi),上述行業(yè)在技術(shù)迭代的背景下暫時(shí)還是安全的,但誰(shuí)會(huì)知道,也許某個(gè)顛覆性的時(shí)刻,已經(jīng)在不經(jīng)意間加快了步伐呢?
附上研究報(bào)告的PDF版:https://arxiv.org/pdf/2305.15038.pdf?
延伸閱讀:
關(guān)鍵詞: