這封信呼吁，所有人工智能實驗室立即暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月。這種暫停應該是公開的和可驗證的，并且包括所有關鍵參與者。如果不能迅速實施這種暫停，政府應介入并實行暫停。

“我現(xiàn)在并不擔心‘AGI風險’(我們無法控制的超級智能機器的風險)，在短期內我擔心的是‘MAI風險’——平庸人工智能(Mediocre AI)是不可靠的(比如必應和GPT-4)但被廣泛部署?！?/p>

最近幾天，人工智能風險引發(fā)了多位科技領袖的深切擔憂。

(相關資料圖)

首先是被稱為“人工智能教父”的杰弗里·辛頓(Geoffrey Hinton)，他上周在接受哥倫比亞廣播公司采訪時表示，人工智能可能發(fā)展到對人類構成威脅“并非不可想象”的地步。

隨后，AI“大?！鄙w瑞·馬庫斯(Gary Marcus)3月27日發(fā)推響應辛頓，28日又發(fā)表題為“人工智能風險≠通用人工智能風險”的文章，稱超級智能可能會也可能不會迫在眉睫，但在短期內，需要擔心“MAI(平庸人工智能)風險”。

27日，推特CEO伊隆·馬斯克也加入進來，表達對辛頓和馬庫斯的贊同。

馬斯克在社交網(wǎng)絡上與杰弗里·辛頓和蓋瑞·馬庫斯互動。

29日，未來生命研究所(Future of Life Institute)公布一封公開信，呼吁所有AI實驗室立即暫停訓練比GPT-4更強大的AI系統(tǒng)至少6個月。辛頓、馬庫斯和馬斯克均簽署了這封公開信。

“加快開發(fā)強大的AI治理系統(tǒng)”

未來生命研究所的這封公開信題為“暫停巨型AI實驗：一封公開信”，于29日解封。

未來生命研究所的公開信已有1079人簽署。

信中寫道：廣泛的研究表明，具有與人類競爭智能的人工智能系統(tǒng)可能對社會和人類構成深遠的風險，這一觀點得到了頂級人工智能實驗室的承認。正如廣泛認可的阿西洛馬人工智能原則(Asilomar AI Principles，阿西莫夫的機器人三大法則的擴展版本，于2017年由近千名人工智能和機器人專家簽署)中所述，高級AI可能代表地球生命史上的深刻變化，應該以相應的關照和資源進行規(guī)劃和管理。不幸的是，這種級別的規(guī)劃和管理并沒有發(fā)生，盡管最近幾個月人工智能實驗室陷入了一場失控的競賽，以開發(fā)和部署更強大的數(shù)字思維，沒有人——甚至他們的創(chuàng)造者——能理解、預測或可靠地控制。

“當代人工智能系統(tǒng)現(xiàn)在在一般任務上變得與人類具有競爭力，我們必須捫心自問：我們是否應該讓機器用宣傳和謊言充斥我們的信息渠道？我們是否應該自動化所有工作，包括令人滿意的工作？我們是否應該發(fā)展最終可能比我們更多、更聰明，淘汰并取代我們的非人類思維？我們應該冒險失去對我們文明的控制嗎？”這封信寫道，“只有當我們確信它們的影響是積極的并且風險是可控的時候，才應該開發(fā)強大的人工智能系統(tǒng)。這種信心必須有充分的理由，并隨著系統(tǒng)潛在影響的規(guī)模而增加。OpenAI最近關于通用人工智能的聲明指出，‘在某些時候，在開始訓練未來的系統(tǒng)之前進行獨立審查可能很重要，并且對于最先進的工作來說，應該同意限制用于創(chuàng)建新模型的計算量增長?！覀兺?。那個某些時候就是現(xiàn)在?！?/p>

這封信呼吁，所有人工智能實驗室立即暫停訓練比GPT-4更強大的人工智能系統(tǒng)至少6個月。這種暫停應該是公開的和可驗證的，并且包括所有關鍵參與者。如果不能迅速實施這種暫停，政府應介入并實行暫停。人工智能實驗室和獨立專家應該利用這次暫停，共同開發(fā)和實施一套用于高級人工智能設計和開發(fā)的共享安全協(xié)議，并由獨立的外部專家進行嚴格審計和監(jiān)督。這些協(xié)議應確保遵守它們的系統(tǒng)是安全的，并且無可置疑。這并不意味著總體上暫停AI開發(fā)，只是緊急從奔向不可預測的大型黑盒模型的危險競賽中收回腳步。

與此同時，信中指出，AI開發(fā)人員必須與政策制定者合作，以顯著加快開發(fā)強大的AI治理系統(tǒng)。至少應包括：建立專門負責AI的有能力的新監(jiān)管機構；監(jiān)督和跟蹤高性能人工智能系統(tǒng)和大量計算能力；推出標明來源系統(tǒng)和水印系統(tǒng)，以幫助區(qū)分真實與合成，并跟蹤模型泄漏；強大的審計和認證生態(tài)系統(tǒng)；界定人工智能造成的傷害的責任；為人工智能技術安全研究提供強大的公共資金；以資源充足的機構來應對人工智能將造成的巨大經(jīng)濟和政治破壞(尤其是對民主的破壞)。

這封信最后寫道，“人類可以享受人工智能帶來的繁榮未來。成功創(chuàng)建強大的AI系統(tǒng)后，我們現(xiàn)在可以享受‘AI之夏’，收獲回報，設計這些系統(tǒng)以造福所有人，并為社會提供適應的機會。社會已經(jīng)暫停其他可能對社會造成災難性影響的技術。 我們可以在這個領域也這樣做。讓我們享受一個漫長的AI之夏，而不是毫無準備地陷入秋天。”

未來生命研究所建立于2014年，是一個非營利組織，由一系列個人和組織資助，使命是引導變革性技術遠離極端、大規(guī)模的風險，轉向造福生活。

截至發(fā)稿，這封信已有1079名科技領袖和研究人員簽名，除了馬斯克、辛頓和馬庫斯之外，還包括圖靈獎得主約書亞·本希奧(Yoshua Bengio)、《人工智能：現(xiàn)代方法》作者斯圖爾特·羅素(Stuart Russell)、 蘋果公司聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克(Steve Wozniak)、Stability AI首席執(zhí)行官埃馬德·莫斯塔克(Emad Mostaque)等科技界領袖人物。

“可能導致核戰(zhàn)爭和更嚴重的疫情”

28日，馬庫斯在寫作平臺Substack上寫道，一位同事寫信給他問道：“這封(公開)信不會造成對即將到來的AGI(通用人工智能)、超級智能等的無端恐懼嗎？”

美國作家、紐約大學教授加里·馬庫斯。

馬庫斯解釋道，“我仍然認為大型語言模型與超級智能或通用人工智能沒有太大關系；我仍然認為，與楊立昆(Yann LeCun)一樣，大型語言模型是通向通用人工智能道路上的一個‘出口’。我對厄運的設想可能與辛頓或馬斯克不同；他們的(據(jù)我所知)似乎主要圍繞著如果計算機快速而徹底地自我改進會發(fā)生什么，我認為這不是一個直接的可能性。”

人工智能風險與通用人工智能風險。

但是，盡管許多文獻將人工智能風險等同于超級智能或通用人工智能風險，但不一定非要超級智能才能造成嚴重問題?！拔椰F(xiàn)在并不擔心‘AGI風險’(我們無法控制的超級智能機器的風險)，在短期內我擔心的是‘MAI風險’——平庸人工智能(Mediocre AI)是不可靠的(比如必應和GPT-4)但被廣泛部署——無論是就使用它的人數(shù)而言，還是就世界對軟件的訪問而言。一家名為Adept.AI的公司剛剛籌集了3.5億美元來做到這一點，以允許大型語言模型訪問幾乎所有內容(旨在通過大型語言模型‘增強你在世界上任何軟件工具或API上的能力’，盡管它們有明顯的幻覺和不可靠傾向)?！?/p>

馬庫斯認為，許多普通人也許智力高于平均水平，但不一定是天才，在整個歷史中也制造過各種各樣的問題。在許多方面，起關鍵作用的不是智力而是權力。一個擁有核代碼的白癡就可以摧毀世界，只需要適度的情報和不應該得到的訪問權限?，F(xiàn)在，AI工具已經(jīng)引起了犯罪分子的興趣，越來越多地被允許進入人類世界，它們可能造成更大的破壞。

歐洲刑警組織27日發(fā)布一份報告，對采用ChatGPT類工具進行犯罪的可能性進行了討論，令人警醒?！按笮驼Z言模型檢測和重現(xiàn)語言模式的能力不僅有助于網(wǎng)絡釣魚和在線欺詐，而且通常還可以用來冒充特定個人或群體的講話風格。這種能力可能會被大規(guī)模濫用，以誤導潛在受害者將他們的信任交給犯罪分子?！边@份報告寫道，“除了上述犯罪活動外，ChatGPT的功能還有助于處理恐怖主義、政治宣傳和虛假信息領域的許多潛在濫用案件。因此，該模型通?？捎糜谑占嗫赡艽龠M恐怖活動的信息，例如恐怖主義融資或匿名文件共享?！?/p>

馬庫斯認為，再加上人工智能生成的大規(guī)模宣傳，被大型語言模型增強的恐怖主義可能導致核戰(zhàn)爭，或者導致比新冠病毒更糟糕的病原體的故意傳播等。許多人可能會死亡，文明可能會被徹底破壞。也許人類不會真的“從地球上消失”，但事情確實會變得非常糟糕。

“人工智能教父”杰弗里·辛頓在接受哥倫比亞廣播公司采訪時表示，人工智能可能發(fā)展到對人類構成威脅“并非不可想象”的地步。

上周在哥倫比亞廣播公司的采訪中，“人工智能教父”辛頓被問及人工智能“消滅人類”的可能性時說，“我認為這并非不可想象。我只想說這些?！?/p>

馬庫斯指出，相比辛頓和馬斯克擔憂天網(wǎng)和機器人接管世界，應該更多思考眼前的風險，包括恐怖分子在內的犯罪分子可能對大型語言模型做什么，以及如何阻止他們。

相關報道

OpenAI創(chuàng)始人：AI可能毀滅人類 必須開發(fā)新技術來解決

（文章來源：澎湃新聞）

關鍵詞：