智東西2月25日消息，OpenAI CEO薩姆·阿爾特曼（Sam Altman）發布博客文章，分享OpenAI對通用人工智能（AGI）的當前和后續規劃，以及OpenAI如何駕馭AI安全風險、轉向營利性公司結構后如何分配收益和治理等話題。

(資料圖)

阿爾特曼強調OpenAI的使命是確保AGI造福全人類，AGI如果被成功創造出來，可通過增加豐富度、推動全球經濟發展以及幫助發現改變可能性極限的新科學知識，來幫助我們提升人類。

他認為短期內，成功應對AI部署挑戰的最佳方法是采用快速學習和謹慎迭代的緊密反饋循環；長期來看，過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。

他還重申OpenAI的公司結構與正確的激勵措施保持一致，強調OpenAI由“非營利組織”管理、為人類利益服務的原則能凌駕于任何營利利益之上、股東可獲得的回報有上限。

博客地址：https://openai.com/blog/planning-for-agi-and-beyond/

一、OpenAI最關心的AGI三原則

博客文章寫道，AGI有潛力賦予每個人不可思議的新能力；我們可以想象這樣一個世界，所有人都可以在幾乎所有認知任務中獲得幫助，為人類的聰明才智和創造力提供巨大的力量倍增器。

另一方面，AGI也會帶來濫用、嚴重事故和社會混亂的風險。由于AGI的優勢很大，OpenAI不認為社會永遠停止其發展是可能的或可取的；社會和AGI的開發者必須想辦法把它做好。

阿爾特曼在文中闡明了OpenAI最關心的原則：

1、希望AGI能讓人類在宇宙中最大限度地繁榮發展。不期望未來是個不合格的烏托邦，但希望最大化好，最小化差，讓AGI成為人類的放大器。

2、希望廣泛和公平地分享AGI的好處、獲取和治理。

3、希望成功應對巨大風險。在面對這些風險時，理論上看似正確的事情在實踐中往往表現得比預期的更奇怪。OpenAI認為必須通過部署功能較弱的技術版本來不斷學習和適應，盡量減少“一次成功”的情況。

二、短期內，為AGI做好的三項準備

OpenAI認為有三件事很重要，可為AGI做準備。

首先，當不斷創建更強大的系統，OpenAI希望部署它們，并獲得在現實世界中操作它們的經驗。OpenAI相信這是謹慎管理AGI存在的最佳方式，逐漸過渡到AGI世界比突然過渡要好。OpenAI期望強大的AI能夠加快世界的進步速度，而且最好是逐步適應這一點。

漸進式的過渡讓人們、政策制定者和機構有時間了解正在發生的事情，親身體驗這些系統的好處和缺點，調整經濟并實施監管。它還允許社會和人工智能（AI）共同進化，讓人們在風險相對較低的情況下共同找出自己想要的東西。

OpenAI目前認為，成功應對AI部署挑戰的最佳方法是采用快速學習和謹慎迭代的緊密反饋循環。社會將面臨AI系統被允許做什么、如何消除偏見、如何處理工作崗位流失等重大問題。最佳決策將取決于技術發展路徑，就像任何新領域一樣，到目前為止，大多數專家預測都是錯誤的。這使得脫離實際進行規劃非常困難。

總的來說，OpenAI認為在世界上更多地使用AI會帶來好處并希望推動它（通過將模型放入OpenAI API中、將它們開源等）。OpenAI相信，民主化的獲取也將帶來更多更好的研究、分散的權力、更多的利益以及更多的人貢獻新的想法。

隨著其系統越來越接近AGI，OpenAI對模型的創建和部署變得越來越謹慎。其決定將需要比社會通常對新技術應用的謹慎得多，也比許多用戶希望的謹慎得多。AI領域的一些人認為AGI（及后繼系統）的風險是虛構的；如果結果證明他們是對的，OpenAI會很高興，但OpenAI會以認為這些風險存在的方式來運作。

某些時候，部署的利弊之間的平衡（例如授權惡意行為者、造成社會和經濟破壞、加速不安全的競爭）可能會發生變化，在此情況下，OpenAI將會顯著改變圍繞持續部署的計劃。

其次，OpenAI正在努力創建更加一致和可控的模型。從GPT-3第一版模型到InstructGPT和ChatGPT的轉變就是一個早期的例子。

特別是，OpenAI認為重要的是社會就“如何使用AI的廣泛界限”達成一致，但在這些界限內，個人用戶有很大的自由裁量權。OpenAI最終希望世界機構就“這些廣泛的界限應該是什么”達成一致；在短期內，OpenAI計劃進行外部投入實驗。世界各機構需要增加更多的能力和經驗，以便為有關AGI的復雜決策做好準備。

OpenAI產品的“默認設置”可能會受到很大限制，但OpenAI計劃讓用戶更輕松改變他們正在使用的AI的行為。OpenAI相信賦予個人做出自己決定的能力和思想多樣性的內在力量。

隨著其模型變得更加強大，OpenAI將需要開發新的對齊（alignment）技術（并測試以了解當前的技術何時失效）。其短期計劃是使用AI來幫助人類評估更復雜模型的輸出和監控復雜系統；長期計劃是使用AI來幫助提出新的想法以實現更好的對齊技術。

重要的是，OpenAI認為經常需在AI安全和能力方面共同取得進展。分開談論它們是錯誤的二分法，它們在很多方面有關聯。OpenAI最好的安全工作來自與其最有能力的模型一起工作。也就是說，提高安全進步與能力進步的比率很重要。

第三，OpenAI希望就3個關鍵問題展開全球對話：如何治理這些系統，如何公平分配它們產生的收益，如何公平共享獲取這些系統的機會。

除了這三個領域之外，OpenAI還嘗試以一種使激勵措施與良好結果相一致的方式來建立其結構。OpenAI的章程中有一個條款，關于協助其他組織提高安全性，而非在后期AGI開發中與之競爭。OpenAI對股東可以獲得的回報設定了上限，這樣公司就不會被激勵去不受約束地獲取價值，也不會冒險部署一些具有潛在災難性危險的東西（當然也是作為與社會分享利益的一種方式）。

OpenAI由一個非營利組織來管理，使其為人類的利益而經營（并能凌駕于任何營利利益之上），包括讓OpenAI做一些事情，比如在安全需要的情況下取消對股東的股權義務，贊助世界上最全面的全民基本收入（UBI）實驗。

OpenAI認為像這樣的努力在發布新系統之前必須接受獨立審計；他們將在今年晚些時候更詳細地討論這個問題。某些時候，在開始訓練未來系統之前，進行獨立審查可能很重要，并且對于最先進的努力，同意限制用于創建新模型的計算增長速度。OpenAI認為，關于AGI何時應停止訓練運行、確定模型可以安全發布、將模型從生產使用中撤出的公共標準很重要。最后，OpenAI認為重要的是世界主要政府對超過一定規模的訓練有著深刻的認識。

三、長遠來看：人類的未來應由人類主宰

OpenAI認為，人類的未來應該由人類決定，與公眾分享有關進步的信息很重要。應該對所有試圖建立AGI的努力進行嚴格審查，并對重大決策進行公眾咨詢。

第一個AGI將只是智能連續體上的一個點。OpenAI認為，進展很可能會從那里繼續，可能會長期保持其在過去十年中看到的進展速度。如果真是如此，世界可能會變得與今天截然不同，風險也許是巨大的。一個錯位的超級智能AGI可能會對世界造成嚴重的傷害；一個擁有決定性超級智能領導的專制政權也可以做到這一點。

可加速科學發展的AI是一個值得思考的特例，也許比其他任何事情都更有影響力。能加速自身進步的AGI可能會導致重大變化以驚人的速度發生（即使過渡開始緩慢，OpenAI預計也它在最后階段會很快發生）。

OpenAI認為較慢的開始更容易確保安全，AGI努力在關鍵時刻減速可能很重要（即使在不需要這樣做來解決技術對齊問題的世界中，減速可能對給社會足夠的時間來適應很重要）。

成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。成功遠未得到保證，而風險（無限的不利因素和無限的有利因素）有望將我們所有人團結起來。

OpenAI可以想象到一個人類繁榮到任何人都無法完全想象的世界。OpenAI希望為世界貢獻一個與這種繁榮相一致的AGI。

結語：通往AGI之路，OpenAI收獲了很多禮物

在文章末尾，阿爾特曼留下腳注，稱OpenAI似乎收獲了很多禮物：“例如，創建AGI似乎需要大量的計算，因此世界將知道誰在研究它，似乎超進化的強化學習智能體的原始概念相互競爭，以我們無法真正觀察到的方式進化智能的可能性比最初看起來的要小，幾乎沒有人預測我們會在預先訓練的語言模型上取得這么大的進展，這些模型可以從人類的集體偏好和輸出中學習，等等。”

他相信，AGI可能在不久的將來或遙遠的將來出現；從最初的AGI到更強大的后續系統的起飛速度可能會慢或快。許多人認為在這個2×2矩陣中最安全的象限是短時間線和緩慢的起飛速度；更短的時間線似乎更易于協調，更有可能因較少的計算積壓導致較慢的起飛，而較慢的起飛使OpenAI有更多時間來實證弄清楚如何解決安全問題以及如何適應。

“當我們第一次啟動OpenAI時，我們并沒有預料到擴展性會像現在這樣重要。當我們意識到它將變得至關重要時，我們也意識到我們原來的結構將不起作用——我們根本無法籌集到足夠的資金來完成我們作為非營利組織的使命——所以我們想出了一個新的結構。”阿爾特曼說。

“我們現在認為，我們最初關于開放的想法是錯誤的，已經從認為我們應該發布所有東西（盡管我們開源了一些東西，并期望在未來開源更多令人興奮的東西?。?strong>轉向認為我們應該弄清楚如何安全地共享系統的訪問權限和好處?！彼劦?，“我們仍然相信，社會理解正在發生的事情的好處是巨大的，實現這種理解是確保構建的東西是社會集體想要的最好方式（顯然這里有很多細微差別和沖突）?！?/p>

關鍵詞： openai