OpenAI領導層三巨頭聯合撰文，呼籲設立監管超級智能的國際機構

來源：澎湃新聞

記者方曉

“我們最終可能需要類似於IAEA（國際原子能機構）的東西來進行超級智能方面的努力；任何超過一定能力（或計算等資源）門檻的努力都需要接受國際權威機構的檢查，要求進行審計，測試是否符合安全標準，對部署程度和安全級別進行限制，等等。”

OpenAI領導層在其官方博客發布《超級智能的治理》。

人工智能的發展足夠迅速，可能帶來的危險也足夠明顯，以至於ChatGPT的開發機構OpenAI的領導層主動提出，世界需要一個類似於管理核能的國際機構來監管超級智能。

當地時間5月22日，OpenAI的創始人山姆·奧特曼（Sam Altman）、總裁格雷格·布羅克曼（Greg Brockman）和首席科學家伊利亞·蘇茨克沃（Ilya Sutskever）聯合在公司博客上撰文，稱人工智能的創新速度如此之快，以至於我們不能指望現有的機構能夠充分控制這項技術。

這篇題為《超級智能的治理》的文章承認，人工智能不會自己管理自己，“我們最終可能需要類似於IAEA（國際原子能機構）的東西來進行超級智能方面的努力；任何超過一定能力（或計算等資源）門檻的努力都需要接受國際權威機構的檢查，要求進行審計，測試是否符合安全標準，對部署程度和安全級別進行限制，等等。”

當天，領先的人工智能研究員和評論家蒂姆尼特·格布魯（Timnit Gebru）在接受《衛報》採訪時說了類似的話： “除非有外部壓力要求做一些不同的事情，否則公司是不會自我監管的。我們需要監管，我們需要比單純的利潤動機更好的東西。”格布魯曾因大聲疾呼人工智能的危害而被谷歌公司解僱。

OpenAI的建議可以成為一個行業對話的啟動器，表明世界上最大的人工智能品牌和供應商支持監管，迫切需要公共監督，但“還不知道如何設計這樣一個機制”。

上週，奧特曼在出席美國國會聽證會的時候已經表示，OpenAI“非常擔心”選舉受到人工智能生成的內容的影響。他擔憂人工智能行業可能“對世界造成重大傷害”。 “我認為，如果這項技術出了問題，它可能會大錯特錯，我們希望對此直言不諱。”“我們希望與政府合作，防止這種情況發生。”奧特曼建議國會成立一個新機構，為“超過一定規模的能力”的人工智能技術頒發許可證，在向公眾發布AI系統之前，應該由可以判斷該模型是否符合這些規定的專家進行獨立審計。

以下為《超級智能的治理》全文：

鑑於我們現在看到的畫面，可以想像，在未來十年內，人工智能係統將在大多數領域超過專家的技能水平，並開展與當今某個最大的公司一樣多的生產性活動。

就潛在的好處和壞處而言，超級智能將比人類過去不得不面對的其他技術更加強大。我們可以擁有一個更加繁榮的未來；但我們必須管控風險才能達到這個目標。鑑於存在風險的可能性，我們不能只是被動的。核能是具有這種特性的技術的一個常見歷史案例；合成生物學是另一個例子。

我們也必須降低當今人工智能技術的風險，但超級智能需要特殊處理和協調。

一個起點

有許多想法對我們擁有成功駕馭這一發展的良好機會很重要；在此，我們對其中的三個想法進行了初步思考。

第一，我們需要在領先的發展努力之間進行某種程度的協調，以確保超級智能的發展以一種既能使我們保持安全又能幫助這些系統與社會順利融合的方式進行。有許多方法可以實現這一點；世界上的主要政府可以建立一個項目，讓許多目前的努力成為其中的一部分，或者我們可以集體同意（在下面建議的新組織的支持力量下），前沿人工智能能力的增長速度要限制在每年一定的速度。

當然，個別公司也應該以極高的標準負責任地行事。

第二，我們最終可能需要類似於IAEA（國際原子能機構）的東西來進行超級智能方面的努力；任何超過一定能力（或計算等資源）門檻的努力都需要接受國際權威機構的檢查，要求進行審計，測試是否符合安全標準，對部署程度和安全級別進行限制，等等。追踪計算和能源使用情況會有很大的幫助，並給我們一些希望，這個想法實際上是可以實現的。作為第一步，公司可以自願同意開始實施這樣一個機構有朝一日可能要求的要素，而作為第二步，各個國家可以實施。重要的是，這樣一個機構應專注於減少存在的風險，而不是那些應該留給各個國家的問題，例如定義人工智能應該被允許說什麼。

第三，我們需要技術能力來確保超級智能的安全。這是一個開放的研究問題，我們和其他人正在為此付出很多努力。

什麼不在範圍內

我們認為，重要的是允許公司和開源項目開發低於重大能力閾值的模型，而無需我們在這裡描述的監管（包括許可證或審計等繁瑣機制）。

今天的系統將在世界上創造巨大的價值，雖然它們確實存在風險，但這些風險水平似乎與其他互聯網技術相稱，社會可能的做法似乎是合適的。

相比之下，我們所關注的系統將擁有超越任何尚未創建的技術的動力，我們應該注意，不要通過將類似的標準應用於遠低於這一標準的技術而淡化對它們的關注。

公眾投入和潛力

但最強大的系統的治理，以及有關其部署的決定，必須有強有力的公共監督。我們認為，世界各地的人們應該民主地決定人工智能係統的界限和默認值。我們還不知道如何設計這樣一個機制，但我們計劃對其開發進行試驗。我們仍然認為，在這些廣泛的範圍內，個人用戶應該對他們使用的人工智能的行為擁有很大的控制權。

鑑於風險和困難，值得考慮的是，我們為什麼要構建這項技術。

在OpenAI，我們有兩個根本原因。首先，我們相信這將帶來一個比我們今天想像的更好的世界（我們已經在教育、創造性工作和個人生產力等領域看到了這方面的早期例子）。世界面臨著許多問題，我們需要更多的幫助來解決；這項技術可以改善我們的社會，每個人使用這些新工具的創造性能力肯定會讓我們感到驚訝。經濟增長和生活質量的提高將是驚人的。

其次，我們認為，阻止超級智能的產生將具有不直觀的風險和困難。由於好處是如此之大，建造它的成本每年都在下降，建造它的參與者數量正在迅速增加，它本質上是我們所走的技術道路的一部分，阻止它需要類似於全球監控體系的東西，即使這樣也無法保證有效。所以我們必須把它弄好。