讓人類成功過渡到一個(gè)擁有超級(jí)智能的世界，可能是有史以來(lái)最重要、最有希望、最可怕的項(xiàng)目。
來(lái)源丨創(chuàng)業(yè)邦（ID：ichuangyebang）
編輯丨及軼嶸
(資料圖)
近日，ChatGPT之父阿爾特曼在OpenAI官網(wǎng)發(fā)布了他對(duì)AGI（通用人工智能）的看法和未來(lái)的計(jì)劃。
阿爾特曼說，AGI可能帶來(lái)嚴(yán)重的濫用、重大事故和社會(huì)混亂的風(fēng)險(xiǎn)。OpenAI希望通過制定一些原則來(lái)確保AGI的好處最大化，并控制它的潛在風(fēng)險(xiǎn)。原則包括：
*讓AGI成為放大器，促進(jìn)人類最大程度繁榮；
*確保AGI的訪問權(quán)和治理得到廣泛和公平的分享；
*通過部署功能較弱的版本來(lái)不斷學(xué)習(xí)和適應(yīng)，減少押寶“一次性成功”。
阿爾特曼說，成功過渡到一個(gè)擁有超級(jí)智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。AGI距離成功還很遙遠(yuǎn)，但賭注之大（好處和壞處都是無(wú)限的）有望讓我們所有人團(tuán)結(jié)起來(lái)。
以下是創(chuàng)業(yè)邦整理的全文，內(nèi)容經(jīng)編輯處理：
我們的使命是確保AGI（即比人類更聰明的AI系統(tǒng)）能夠造福全人類。
如果AGI得以成功創(chuàng)建，這項(xiàng)技術(shù)可以通過增加豐富度、賦能全球經(jīng)濟(jì)、以及助力發(fā)現(xiàn)能帶來(lái)無(wú)限可能的科學(xué)新知，來(lái)幫助人類提升能力。
AGI有賦予每個(gè)人不可思議的新能力的潛力。我們可以想象有這樣一個(gè)世界，所有人都可以獲得幾乎所有認(rèn)知的幫助，為人類的才智和創(chuàng)造力提供巨大的力量倍增器（force multiplier）。
但另一方面，AGI也會(huì)產(chǎn)生嚴(yán)重的濫用、重大事故和社會(huì)混亂的風(fēng)險(xiǎn)。由于AGI對(duì)社會(huì)產(chǎn)生的價(jià)值如此之高，我們認(rèn)為，永久性地終止它的發(fā)展是不可能的，也是不可取的。相反，社會(huì)和AGI的開發(fā)者必須想辦法把事情做對(duì)。
雖然我們無(wú)法準(zhǔn)確預(yù)測(cè)會(huì)發(fā)生什么，而且目前的進(jìn)展也可能會(huì)受挫，但我們可以闡明我們最關(guān)心的原則：
我們希望AGI能夠?yàn)槿祟愒谟钪嬷凶畲蟪潭鹊姆睒s賦能。我們不希望未來(lái)是一個(gè)不合格的烏托邦，我們希望將好的方面最大化，將壞的方面最小化，讓AGI成為人類的放大器。
我們希望AGI的好處、訪問權(quán)和治理得到廣泛和公平的分享。
我們希望能夠成功地應(yīng)對(duì)那些巨大的風(fēng)險(xiǎn)。在面對(duì)這些風(fēng)險(xiǎn)時(shí)，我們承認(rèn)，理論上看似正確的事情，在實(shí)踐中往往比預(yù)期更奇怪。我們認(rèn)為，我們必須通過部署功能較差的版本來(lái)不斷學(xué)習(xí)和適應(yīng)，最大程度地減少指望獲得“一次性成功”（one shot to get it right）的情況。
短期來(lái)看為了迎接AGI，我們認(rèn)為現(xiàn)在有幾件事非常重要。
第一，隨著我們不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，我們希望部署它們，并獲得在真實(shí)世界中操作它們的經(jīng)驗(yàn)。我們相信這是謹(jǐn)慎導(dǎo)入和管理AGI的最佳方式——逐漸過渡到AGI世界比急速過渡要好。我們期望強(qiáng)大的AI能夠加速世界的進(jìn)步，但我們認(rèn)為一個(gè)逐步適應(yīng)的過程更好。
漸進(jìn)的過渡，讓民眾、政策制定者和機(jī)構(gòu)有時(shí)間了解正在發(fā)生的事情，親身體驗(yàn)系統(tǒng)的好處和缺點(diǎn)，讓經(jīng)濟(jì)做出相應(yīng)的調(diào)整，并實(shí)施監(jiān)管。它還允許社會(huì)和AI共同進(jìn)化，并允許大家在風(fēng)險(xiǎn)相對(duì)較低的情況下弄清楚自己想要什么。
目前，我們認(rèn)為，成功應(yīng)對(duì)AI部署挑戰(zhàn)的最佳方法，是采用快速學(xué)習(xí)和謹(jǐn)慎迭代的緊密反饋循環(huán)。社會(huì)將面臨一些重大問題，包括AI系統(tǒng)被允許做什么、如何應(yīng)對(duì)偏見、如何處理工作崗位流失等。最佳決策將取決于所采用的技術(shù)路徑。與任何新領(lǐng)域一樣，目前為止大多數(shù)專家預(yù)測(cè)都是錯(cuò)誤的。在真空中做規(guī)劃非常困難。
總體來(lái)說，我們認(rèn)為世界更多地使用AI會(huì)帶來(lái)好處，我們希望推廣它（通過將模型放入API，將它們開源等）。我們相信，民主化的訪問權(quán)也會(huì)帶來(lái)更多和更好的研究、分散的權(quán)力、更多的益處，以及更多的人會(huì)貢獻(xiàn)新的想法。
隨著我們的系統(tǒng)越來(lái)越接近AGI，我們對(duì)模型的創(chuàng)建和部署變得越來(lái)越謹(jǐn)慎。相較于社會(huì)通常對(duì)新技術(shù)應(yīng)用的態(tài)度，以及許多用戶的希望，我們的決定更加謹(jǐn)慎。AI領(lǐng)域的一些人認(rèn)為AGI（和后繼系統(tǒng)）的風(fēng)險(xiǎn)是虛構(gòu)的。如果結(jié)果證明他們是對(duì)的，我們會(huì)很高興，但我們會(huì)把風(fēng)險(xiǎn)當(dāng)作真實(shí)的存在。
在某些時(shí)候，利弊之間的平衡可能會(huì)發(fā)生變化。比如，在發(fā)生授權(quán)惡意行為者、造成社會(huì)和經(jīng)濟(jì)破壞以及加速不安全的競(jìng)賽的情況下，我們將實(shí)質(zhì)性地改變我們的部署計(jì)劃。
其次，我們正在創(chuàng)建更加一致和可控的模型。一個(gè)早期的例子是我們從GPT-3的第一個(gè)版本到InstructGPT和ChatGPT的轉(zhuǎn)變。
我們認(rèn)為重要的是，社會(huì)就使用AI的極其廣泛的邊界達(dá)成共識(shí)，在這些邊界內(nèi)，個(gè)人用戶有很大的自由裁量權(quán)。我們最終的希望是全世界的機(jī)構(gòu)就這些廣泛的邊界應(yīng)該在哪里達(dá)成一致。但在短期內(nèi)，我們計(jì)劃對(duì)外部輸入進(jìn)行實(shí)驗(yàn)。世界上的機(jī)構(gòu)需要加強(qiáng)其能力和經(jīng)驗(yàn)，以便為有關(guān)AGI的復(fù)雜決策做好準(zhǔn)備。
我們產(chǎn)品的“默認(rèn)設(shè)置”（default setting）可能會(huì)相當(dāng)克制，但我們計(jì)劃讓用戶能夠輕松地更改他們正在使用的AI的行為。讓每個(gè)人自己做決定，觀念多樣性有巨大的內(nèi)在力量，這兩點(diǎn)是我們的信仰。
隨著我們的模型日益強(qiáng)大，我們需要開發(fā)新的對(duì)齊技術(shù)（alignment technology）。我們的短期計(jì)劃是使用AI來(lái)幫助人類評(píng)估更復(fù)雜的模型的輸出，并監(jiān)控復(fù)雜系統(tǒng)。從長(zhǎng)遠(yuǎn)看，使用AI來(lái)幫助我們提出新的想法，以實(shí)現(xiàn)更好的對(duì)齊技術(shù)。
重要的是，我們認(rèn)為經(jīng)常需要在AI安全和能力兩方面共同進(jìn)步。將它們分開討論是錯(cuò)誤的二分法，因?yàn)樵诤芏喾矫嫠鼈兪窍嚓P(guān)的。我們最好的安全工作來(lái)自與我們最有能力的模型一起工作。換句話說，提高安全與能力進(jìn)步的比率很重要。
第三，我們希望就三個(gè)關(guān)鍵問題開展全球?qū)υ挘喝绾沃卫磉@些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，以及如何公平共享訪問權(quán)限。
除此之外，我們還嘗試以一種讓我們的激勵(lì)與良好結(jié)果保持一致的方式來(lái)建立我們的架構(gòu)。我們的章程中有一個(gè)條款是關(guān)于協(xié)助其它組織提高安全性，而不是在后期AGI開發(fā)中與他們競(jìng)爭(zhēng)。我們對(duì)股東獲得的回報(bào)設(shè)定了上限，這樣我們就不會(huì)冒險(xiǎn)和無(wú)節(jié)制地獲取價(jià)值。我們有一個(gè)非營(yíng)利組織來(lái)管理我們自己，讓我們?yōu)槿祟惖睦娑?jīng)營(yíng)（并且可以凌駕于任何營(yíng)利利益之上），包括讓我們做一些事情，比如在安全需要的情況下，取消我們對(duì)股東的股權(quán)義務(wù)，并資助世界上最全面的UBI（Universal Basic Income，普遍基本收入）實(shí)驗(yàn)。
我們?cè)噲D完善我們的架構(gòu)，以便讓激勵(lì)措施與良好結(jié)果保持一致。
我們認(rèn)為在發(fā)布新系統(tǒng)之前提交獨(dú)立審計(jì)是很重要的。我們將在今年晚些時(shí)候更詳細(xì)地討論這個(gè)問題。在某些情況下，在開始訓(xùn)練未來(lái)系統(tǒng)之前獲得獨(dú)立審查可能很重要，最終，同意限制用于創(chuàng)建新模型的計(jì)算能力的增長(zhǎng)率。我們認(rèn)為一些關(guān)于AGI的公共標(biāo)準(zhǔn)很重要，包括何時(shí)應(yīng)停止訓(xùn)練、確定模型可以安全發(fā)布，或從生產(chǎn)使用中撤出模型。最后，我們認(rèn)為重要的是世界主要國(guó)家的政府對(duì)超過一定規(guī)模的訓(xùn)練有洞察力。
長(zhǎng)遠(yuǎn)來(lái)看我們認(rèn)為人類的未來(lái)應(yīng)該由人類自己來(lái)決定，而且與公眾分享進(jìn)展的信息非常重要。所有試圖建立AGI的努力都應(yīng)該接受嚴(yán)格的審查，重大決策需要進(jìn)行公眾咨詢。
第一個(gè)AGI將只是智能連續(xù)體上的一個(gè)點(diǎn)。我們認(rèn)為進(jìn)展很可能會(huì)從那里繼續(xù)下去，可能會(huì)在很長(zhǎng)一段時(shí)間內(nèi)保持我們?cè)谶^去十年中看到的進(jìn)展速度。如果這是真的，世界可能會(huì)變得與今天截然不同，風(fēng)險(xiǎn)可能會(huì)非常大。一個(gè)錯(cuò)位的超級(jí)智能AGI可能會(huì)對(duì)世界造成嚴(yán)重的傷害；一個(gè)擁有超級(jí)智能的不好的政體也會(huì)導(dǎo)致這種情況發(fā)生。
有足夠能力加速自身進(jìn)步的AGI，可能會(huì)導(dǎo)致重大的變化以驚人的速度出現(xiàn)（即使過渡開始緩慢，我們預(yù)計(jì)它在最后階段也會(huì)很快發(fā)生）。我們認(rèn)為慢慢起飛，安全更容易得到保證。而且，在關(guān)鍵時(shí)刻如何協(xié)調(diào)讓AGI各方共同減速可能很重要（即使在不需要這樣做來(lái)解決技術(shù)對(duì)齊問題的世界中，也要給社會(huì)足夠的時(shí)間來(lái)適應(yīng)）。
成功過渡到一個(gè)擁有超級(jí)智能的世界可能是人類歷史上最重要、最有希望、最可怕的項(xiàng)目。距離成功還很遙遠(yuǎn)，但賭注之大（好處和壞處都是無(wú)限的）有望讓我們所有人團(tuán)結(jié)起來(lái)。
我們可能進(jìn)入一個(gè)繁榮程度無(wú)法想象的世界。我們希望為世界貢獻(xiàn)一個(gè)與這種繁榮相一致的通用人工智能。
原文：https://openai.com/blog/planning-for-agi-and-beyond/