我經常對OpenAI自與Microsoft開始合作以來所走的道路敲響警鐘。我認為人工智能實驗室已經逐漸從追求科學轉向為其主要金融支持者創造有利可圖的產品。

本周，OpenAI首席執行官山姆奧特曼(Sam Altman)在一篇博文中打消了我的一些疑慮，他在博文中闡述了實驗室的通用人工智能(AGI)計劃。無論您對AGI爭論持何種立場，該帖子都包含一些關于OpenAI計劃如何應對AI研究和產品開發挑戰的有趣觀點。我認為這很重要，因為許多其他研究實驗室在未來幾年將面臨類似的挑戰。

Altman還留下了一些未解決的問題，考慮到該領域正在經歷的不斷變化，這可能是公平的。以下是我從OpenAI的AGI策略中得出的一些重要結論。

AGI研究可能（預計）會碰壁

該帖子的介紹是關于AGI的好處和風險。一方面，AGI可以提升人性、發現新知識、推動經濟發展、放大創造力等。另一方面，它可能帶來極端風險、社會混亂、事故等。

但是有一些有趣的事實。Altman承認，“我們目前的進展可能會碰壁。”考慮到圍繞大型語言模型(LLM)的炒作，我認為這很重要。LLM和其他深度學習模型的不斷進步使一些人相信我們正在創造AGI的道路上。但有明顯跡象表明，僅靠LLM無法解決情報的關鍵方面，如果被委以敏感任務，可能會犯致命錯誤。

我希望Altman詳細說明的一件事是他們在LLM以外的領域的研究計劃。過去，OpenAI在各個領域進行研究，包括機器人技術和不同的強化學習系統。在過去幾年中，這些努力幾乎從OpenAI的研究中消失了。盡管這些領域可能被證明非常昂貴且無利可圖（至少在短期內），但它們可能會為解開情報之謎提供有價值的信息。

Altman提出的另一個重要觀點是：“我們不希望未來成為一個不合格的烏托邦，但我們希望將好的一面最大化，將壞的一面最小化，讓AGI成為人類的放大器。”現在，總的來說這是一個很好的觀點，但它留下了一些難題：我們如何定義好與壞？誰將成為價值的仲裁者？我們想要擴大人性的哪些方面，以最大限度地發揮善意并最大限度地減少壞處？

逐步過渡到AGI

我認為這篇文章更有趣的部分是OpenAI的短期戰略。在這里，Altman的想法反映了OpenAI從為數百萬用戶部署AI系統中學到的東西。

首先，他說“逐漸過渡”比突然過渡要好，因為它允許我們逐步調整。

“逐步過渡讓人們、政策制定者和機構有時間了解正在發生的事情，親身體驗這些系統的好處和缺點，調整我們的經濟，并制定監管，”奧特曼寫道。

與我交談過的科學家、研究人員和從業者都同意，鑒于人工智能對日常生活的影響，它不再是科學家在實驗室開發的東西。它應該成為一個多學科領域，包括來自各個領域的人，包括人文科學、工程和法學。這將幫助我們更好地理解強大的深度學習模型將對社會、經濟和政治產生的影響。

Altman還談到通過“快速學習和仔細迭代的緊密反饋循環”來應對AI部署挑戰。這意味著要有一種心態，即您對技術的所有假設都可能是錯誤的。因此，它需要有適當的工具和基礎設施來不斷收集用戶和開發人員的反饋并定期更新模型。近年來，OpenAI幾乎完美地掌握了這一點。

這些實踐幫助他們將技術推向了意想不到的方向。例如，GPT-3最初是用于與語言相關的任務。在此過程中，OpenAI團隊了解到可以對同一模型進行微調以生成軟件代碼，這已成為迄今為止LLM最成功的應用之一。

AI不開放

OpenAI經常受到批評，因為它沒有向公眾發布其模型并利用其研究來盈利和籌集資金。

Altman為實驗室所走的道路辯護說，“最佳決策將取決于技術所走的道路”，并且在真空中進行規劃非常困難。在腳注中，他解釋說，他們作為非營利組織的原始結構沒有奏效，因為他們認為規模（即訓練更大、更昂貴的神經網絡）并不像事實證明的那么重要。他還表示，“我們最初關于開放性的想法是錯誤的”，這意味著他們將繼續將功能更強大的模型隱藏在API之后。

Altman說：“我們相信，民主化的訪問還將帶來更多更好的研究、分散的權力、更多的利益以及更多的人貢獻新想法。”

我覺得這部分有點問題。OpenAI使用的API模型將使更多人更容易訪問AI系統，而無需經歷建立模型的技術難題。而這確實會幫助更多的人為該領域貢獻新的想法。

但某些類型的研究需要訪問訓練數據以及模型權重和架構，而OpenAI并未提供這些數據。透明和共享一直是科學進步的基石。但不幸的是，隨著AI研究實驗室越來越傾向于對其模型的細節保密，來自不同組織的科學家之間的合作變得越來越困難。

另外，與Altman所說的相反，OpenAI奉行的政策并不是去中心化權力。它將其集中在微軟手中，微軟擁有OpenAI技術的獨家許可。它還引發了一場人工智能軍備競賽，其他大型科技公司也在尋求與其他研究實驗室進行類似交易。

定制人工智能模型

Altman提出的重要觀點之一——可以追溯到確定人工智能促進的價值——是“創建越來越一致和可控的模型”。OpenAI在這方面的主要成就之一是使用人類反饋強化學習(RLHF)使LLM與人類意圖保持一致。

但是，通過集中處理將對齊烘焙到模型中存在問題。ChatGPT發布后，許多用戶發布了該模型的實例，顯然在敏感的政治和社會問題上“偏袒”了一方。目前尚不清楚問題是由于訓練數據的偏差還是OpenAI實施的護欄造成的。但顯而易見的是，您無法找到能夠滿足所有個人和群體偏好的通用解決方案。

Altman認為，這個問題可以通過讓社會“就如何使用AI的極其廣泛的范圍達成一致”并讓用戶自行決定在這些范圍內使用AI來解決。（我不確定是否有可能以一種可以提供足夠靈活性同時防止濫用模型的方式定義“寬邊界”。我們將不得不拭目以待。）

“我們產品的‘默認設置’可能會受到很大限制，但我們計劃讓用戶可以輕松更改他們正在使用的AI的行為，”Altman寫道。“我們相信賦予個人做出自己的決定和思想多樣性的內在力量。”

OpenAI已經提供了使用自定義數據集微調GPT-3的工具。我希望將來他們也能推出用于RLHF微調的工具。OpenAI已經在研究幾種新的AI對齊技術。重要的是，創造更好的人工智能并不總是依賴于發明更先進的架構。尋找將人工智能與人類直覺相結合的方法有助于事半功倍，并將現有技術提升到一個新的水平。

平衡人工智能研究和盈利

Altman表示，需要圍繞三個關鍵領域展開全球對話：人工智能治理、公平分配利益和公平獲取。沒有啟動這一全球對話的藍圖。有這么多利益沖突，我不確定這樣的對話是否可能。軟件不是可以輕易監管的東西。

Altman還解釋了OpenAI為協調其科學和商業激勵措施所做的努力。這些努力包括OpenAI章程中的一個條款，該條款規定“如果一個價值一致、有安全意識的項目在我們之前接近構建AGI，我們承諾停止與該項目競爭并開始協助該項目。”

我不知道OpenAI計劃如何實施這一條款，因為我們不知道后期AGI系統會是什么樣子。但擁有這個廣泛的框架來定期重新評估公司的方向是件好事。

Altman還表示，公司的利潤上限結構將阻止股東不受約束地獲取價值，并推動公司“部署具有潛在災難性危險的東西”。OpenAI可能已經為自己設置了護欄，但它籌集的大量資金以及微軟將OpenAI的技術集成到其產品中所采取的方向有可能導致OpenAI試圖阻止的非常災難性的危險發展。

奧特曼提出了另外兩個重要觀點。首先，需要對新系統進行獨立審計。這可能會解決我之前提出的一些透明度問題以及因不公開模型而導致的問題。但這實際上取決于審計過程的細節，OpenAI將在今年晚些時候宣布。

其次是需要限制訓練模型所需的計算速率。GPT-3等模型的計算要求使得小公司幾乎不可能自行開展工作。研究增加較小模型的能力可以幫助該領域的民主化，盡管它也需要開源模型。

最后的想法

隨著AI的如此多的發展，期望OpenAI提供完美的路線圖是不現實的。這就是為什么我很欣賞Sam Altman的文章，盡管我希望看到所有問題的解答。

當然，我們的許多問題都沒有完美的答案。但重要的是定期進行這些對話并了解我們的立場并調整路線。我們將密切關注它是如何展開的。