GPT-4震撼來襲，ChatGPT的8倍，考試能力超過90%人類-環(huán)球快訊

北京時(shí)間3月15日早間，人工智能初創(chuàng)公司OpenAI正式公布其最新一代人工智能語(yǔ)言模型GPT-4。

GPT-4是一個(gè)超大的多模態(tài)模型，升級(jí)后其可以接受圖像輸入并理解圖像內(nèi)容，并且可接受的文字輸入長(zhǎng)度也增加到3.2萬(wàn)個(gè)token（約2.4萬(wàn)單詞）。

雖然它在許多現(xiàn)實(shí)世界場(chǎng)景中的能力不如人類，但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上它已經(jīng)和人類水平表現(xiàn)相當(dāng)。

(資料圖片僅供參考)

OpenAI表示GPT-4的誕生，是OpenAI努力擴(kuò)展深度學(xué)習(xí)的最新里程碑。

據(jù)了解，最新的GPT-4對(duì)月訂閱費(fèi)20美元的ChatGPT Plus的用戶開放使用，同時(shí)也會(huì)納入到微軟的Bing聊天機(jī)器人中。

似乎為了讓對(duì)手們望塵莫及，OpenAI還放出了一系列大招，包括技術(shù)報(bào)告，SystemCard，以及API。

不管從更新速度還是質(zhì)量，看來生成式AI這場(chǎng)戰(zhàn)役，OpenAI志在必得。

01

史上最強(qiáng)多模態(tài)大模型，

GPT-4當(dāng)之無愧

在視覺輸入方面，GPT-4可以接受文本和圖像提示，這與純文本設(shè)置并行，允許用戶指定任何視覺或語(yǔ)言任務(wù)。

具體來說，它在給定由散布的文本和圖像組成的輸入的情況下生成文本輸出（自然語(yǔ)言、代碼等）。即在包括帶有文本和照片的文檔、圖表或屏幕截圖等一系列領(lǐng)域，GPT-4展示了與純文本輸入類似的功能。此外，它還可以通過為純文本語(yǔ)言模型開發(fā)的測(cè)試時(shí)間技術(shù)得到增強(qiáng)，包括少量鏡頭和思維鏈提示。一起通過具體案例來感受下。

首先是強(qiáng)大的圖片理解能力。

更進(jìn)一步，GPT-4可以理解圖表中數(shù)據(jù)的含義，并做進(jìn)一步計(jì)算。

甚至可以直接把論文截圖發(fā)給它，GPT-4給出對(duì)整篇論文的總結(jié)摘要。

02

雖然強(qiáng)大，但GPT-4仍有局限性

盡管功能強(qiáng)大，但GPT-4與早期的GPT模型具有相似的局限性。通俗的來說就是會(huì)胡說八道。

雖然這仍然是一個(gè)現(xiàn)實(shí)的問題，但GPT-4相對(duì)于以前的模型（它們本身在每次迭代中都在改進(jìn)）已經(jīng)顯著減輕了幻覺問題。在OpenAI內(nèi)部對(duì)抗性真實(shí)性評(píng)估中，GPT-4的得分比最新的GPT-3.5高40%。

在九類內(nèi)部對(duì)抗性設(shè)計(jì)的事實(shí)評(píng)估中，OpenAI將GPT-4（綠色）與前三個(gè)ChatGPT版本進(jìn)行了比較。所有主題都有顯著的收獲。準(zhǔn)確度為1.0意味著模型的答案被判斷為與評(píng)估中所有問題的人類理想回答一致。

OpenAI在TruthfulQA等外部基準(zhǔn)測(cè)試方面取得了進(jìn)展，它測(cè)試了模型將事實(shí)與對(duì)抗性選擇的一組錯(cuò)誤陳述分開的能力。這些問題與事實(shí)不正確的答案配對(duì)，這些答案在統(tǒng)計(jì)上很有吸引力，如下圖所示。

GPT-4基本模型在此任務(wù)上僅比GPT-3.5略好；然而，在RLHF后訓(xùn)練（應(yīng)用與GPT-3.5相同的過程）之后，存在很大差距。比如下面的例子。

該模型的輸出可能存在各種偏差——OpenAI在這些方面取得了進(jìn)展，但還有更多工作要做。

根據(jù)OpenAI最近的博客文章，其目標(biāo)是讓所構(gòu)建的AI系統(tǒng)具有合理的默認(rèn)行為，以反映廣泛的用戶價(jià)值觀，允許這些系統(tǒng)在廣泛的范圍內(nèi)進(jìn)行定制，并就這些范圍應(yīng)該是什么獲得公眾意見。

GPT-4普遍缺乏對(duì)絕大部分?jǐn)?shù)據(jù)中斷后（2021年9月）發(fā)生的事件的了解，并且不從其經(jīng)驗(yàn)中吸取教訓(xùn)。它有時(shí)會(huì)犯簡(jiǎn)單的推理錯(cuò)誤，這些錯(cuò)誤似乎與跨多個(gè)領(lǐng)域的能力不相稱，或者在接受用戶明顯的虛假陳述時(shí)過于輕信。有時(shí)它會(huì)像人類一樣在難題上失敗，例如在它生成的代碼中引入安全漏洞。

GPT-4也可能自信地在其預(yù)測(cè)中犯錯(cuò)，在可能出錯(cuò)時(shí)不注意仔細(xì)檢查工作。有趣的是，基礎(chǔ)預(yù)訓(xùn)練模型經(jīng)過高度校準(zhǔn)（其對(duì)答案的預(yù)測(cè)置信度通常與正確概率相匹配）。然而，通過OpenAI目前的訓(xùn)練后過程，校準(zhǔn)減少了。

左圖是預(yù)訓(xùn)練GPT-4模型在MMLU子集上的校準(zhǔn)圖。該模型對(duì)其預(yù)測(cè)的置信度與正確概率密切相關(guān)。虛線對(duì)角線代表完美的校準(zhǔn)。

而右圖是在同一MMLU子集上訓(xùn)練后的PPOGPT-4模型的校準(zhǔn)圖。OpenAI當(dāng)前的過程對(duì)校準(zhǔn)造成了很大的傷害。

03

不停迭代是GPT-4緩解風(fēng)險(xiǎn)的良好措施

OpenAI一直在對(duì)GPT-4進(jìn)行迭代，以使其從訓(xùn)練開始就更安全、更一致，工作包括選擇和過濾預(yù)訓(xùn)練數(shù)據(jù)、評(píng)估和專家參與、模型安全性改進(jìn)以及監(jiān)控和執(zhí)行。

GPT-4會(huì)帶來與之前模型類似的風(fēng)險(xiǎn)，例如生成有害建議、錯(cuò)誤代碼或不準(zhǔn)確信息。但是，GPT-4的附加功能會(huì)帶來新的風(fēng)險(xiǎn)面。為了了解這些風(fēng)險(xiǎn)的程度，OpenAI聘請(qǐng)了50多位來自AI對(duì)齊風(fēng)險(xiǎn)、網(wǎng)絡(luò)安全、生物風(fēng)險(xiǎn)、信任和安全以及國(guó)際安全等領(lǐng)域的專家來對(duì)模型進(jìn)行對(duì)抗性測(cè)試。

他們的發(fā)現(xiàn)特別使OpenAI能夠在需要專業(yè)知識(shí)進(jìn)行評(píng)估的高風(fēng)險(xiǎn)領(lǐng)域測(cè)試模型行為。這些專家的反饋和數(shù)據(jù)用于OpenAI對(duì)模型的緩解和改進(jìn)；例如，OpenAI收集了額外的數(shù)據(jù)來提高GPT-4拒絕有關(guān)如何合成危險(xiǎn)化學(xué)品的請(qǐng)求的能力。

GPT-4在RLHF訓(xùn)練期間加入了一個(gè)額外的安全獎(jiǎng)勵(lì)信號(hào)，通過訓(xùn)練模型拒絕對(duì)此類內(nèi)容的請(qǐng)求來減少有害輸出（如OpenAI的使用指南所定義）。獎(jiǎng)勵(lì)由GPT-4零樣本分類器提供，該分類器根據(jù)安全相關(guān)提示判斷安全邊界和完成方式。

為了防止模型拒絕有效請(qǐng)求，OpenAI從各種來源（例如，標(biāo)記的生產(chǎn)數(shù)據(jù)、人類紅隊(duì)、模型生成的提示）收集了多樣化的數(shù)據(jù)集，并在兩者上應(yīng)用安全獎(jiǎng)勵(lì)信號(hào)（具有正值或負(fù)值）允許和不允許的類別。

與GPT-3.5相比，OpenAI的緩解措施顯著改善了GPT-4的許多安全特性。與GPT-3.5相比，OpenAI已將模型響應(yīng)不允許內(nèi)容請(qǐng)求的傾向降低了82%，并且GPT-4根據(jù)OpenAI的政策響應(yīng)敏感請(qǐng)求（例如，醫(yī)療建議和自我傷害）的頻率提高了29%。

總的來說，OpenAI的模型級(jí)干預(yù)增加了引發(fā)不良行為的難度，但這樣做仍然是可能的。此外，仍然存在生成違反OpenAI使用指南的內(nèi)容的“越獄”。隨著人工智能系統(tǒng)“每個(gè)代幣的風(fēng)險(xiǎn)”增加，在這些干預(yù)中實(shí)現(xiàn)極高的可靠性將變得至關(guān)重要；目前，重要的是用部署時(shí)安全技術(shù)（如監(jiān)控濫用）來補(bǔ)充這些限制。

GPT-4和后續(xù)模型有可能以有益和有害的方式對(duì)社會(huì)產(chǎn)生重大影響。OpenAI正在與外部研究人員合作，以改進(jìn)OpenAI理解和評(píng)估潛在影響的方式，以及對(duì)未來系統(tǒng)中可能出現(xiàn)的危險(xiǎn)功能進(jìn)行評(píng)估。OpenAI很快將分享更多關(guān)于GPT-4和其他人工智能系統(tǒng)的潛在社會(huì)和經(jīng)濟(jì)影響的想法。

04

強(qiáng)化學(xué)習(xí)和人工反饋，

是訓(xùn)練GPT-4利器

與以前的GPT模型一樣，GPT-4基礎(chǔ)模型經(jīng)過訓(xùn)練可以預(yù)測(cè)文檔中的下一個(gè)單詞，并且使用公開可用的數(shù)據(jù)（例如互聯(lián)網(wǎng)數(shù)據(jù)）以及OpenAI已獲得許可的數(shù)據(jù)進(jìn)行訓(xùn)練。這些數(shù)據(jù)是網(wǎng)絡(luò)規(guī)模的數(shù)據(jù)語(yǔ)料庫(kù)，包括數(shù)學(xué)問題的正確和錯(cuò)誤解決方案、弱推理和強(qiáng)推理、自相矛盾和一致的陳述，并代表各種各樣的意識(shí)形態(tài)和想法。

因此，當(dāng)出現(xiàn)問題提示時(shí)，基本模型可以以多種可能與用戶意圖相去甚遠(yuǎn)的方式做出響應(yīng)。為了使其與護(hù)欄內(nèi)的用戶意圖保持一致，OpenAI使用強(qiáng)化學(xué)習(xí)和人工反饋(RLHF )來微調(diào)模型的行為。

值得注意的是，該模型的能力似乎主要來自預(yù)訓(xùn)練過程——RLHF不會(huì)提高考試成績(jī)（如果不積極努力，它實(shí)際上會(huì)降低考試成績(jī)）。但是模型的轉(zhuǎn)向來自訓(xùn)練后過程——基礎(chǔ)模型需要及時(shí)的工程設(shè)計(jì)甚至知道它應(yīng)該回答問題。

05

可預(yù)測(cè)的擴(kuò)展帶來的可能性

GPT-4項(xiàng)目的一大重點(diǎn)是構(gòu)建可預(yù)測(cè)擴(kuò)展的深度學(xué)習(xí)堆棧。主要原因是，對(duì)于像GPT-4這樣的非常大的訓(xùn)練運(yùn)行，進(jìn)行廣泛的特定于模型的調(diào)整是不可行的。

OpenAI開發(fā)的基礎(chǔ)設(shè)施和優(yōu)化在多個(gè)尺度上具有非常可預(yù)測(cè)的行為。為了驗(yàn)證這種可擴(kuò)展性，OpenAI通過從使用相同方法訓(xùn)練但使用10,000倍更少計(jì)算的模型進(jìn)行推斷，準(zhǔn)確預(yù)測(cè)了GPT-4在OpenAI內(nèi)部代碼庫(kù)（不是訓(xùn)練集的一部分）上的最終損失：

現(xiàn)在OpenAI可以準(zhǔn)確地預(yù)測(cè)OpenAI在訓(xùn)練期間優(yōu)化的指標(biāo)（損失），OpenAI開始開發(fā)方法來預(yù)測(cè)更多可解釋的指標(biāo)。

例如，OpenAI成功預(yù)測(cè)了HumanEval數(shù)據(jù)集子集的通過率，從計(jì)算量減少1,000倍的模型推斷：

不過有些能力仍然難以預(yù)測(cè)。例如，InverseScalingPrize是一項(xiàng)競(jìng)賽，目的是尋找一個(gè)隨著模型計(jì)算量的增加而變得更糟的指標(biāo)，而后見之明的忽視是贏家之一。

就像最近的另一個(gè)結(jié)果一樣， GPT-4扭轉(zhuǎn)了趨勢(shì)：

OpenAI認(rèn)為，準(zhǔn)確預(yù)測(cè)未來的機(jī)器學(xué)習(xí)能力是安全的重要組成部分，但與其潛在影響相比，它并沒有得到足夠的重視（盡管OpenAI受到多家機(jī)構(gòu)的努力的鼓舞）。

OpenAI正在加大力度開發(fā)方法，為社會(huì)提供更好的未來系統(tǒng)預(yù)期指導(dǎo)，OpenAI希望這成為該領(lǐng)域的共同目標(biāo)。

有意思的是，就在GPT-4發(fā)布前，谷歌方面為了迎戰(zhàn)微軟，宣布將一系列即將推出的AIGC功能，應(yīng)用到自家產(chǎn)品中，而原定的發(fā)布日是本周四，也就是明天。

但timing is everything，微軟這次很明顯的殺了谷歌一個(gè)措手不及。面對(duì)強(qiáng)大的GPT-4，此前有過一次翻車經(jīng)驗(yàn)的谷歌能否應(yīng)戰(zhàn)，十分值得期待。

關(guān)鍵詞：