人工智能（ＡＩ）的發展一日千里，潛伏的危機也愈來愈令人擔憂。ＡＩ預測專家科卡特洛（Daniel Kokotajlo）強烈警示，具備超越人類全方位能力的神級「超級人工智慧」（Superintelligence）極可能於二○二九年前問世，若人類未能及時建立嚴格的安全防線，這項技術或將帶來難以估量的毀滅性風險。

目前ＡＩ模型已達初級工程師水準，預測到明年就會有更多ＡＩ模型的自動化程度大幅提高，並通過大量實驗提升自己能力。另一方面，近來OpenAI、Anthropic及谷歌（Google）等科技巨頭，正陷入前所未有的技術軍備競賽，以爭奪最強大通用人工智能（ＡＧＩ）的掌控權。

市場研究公司預測到二○二九年，全球ＡＩ基礎設施的投資將超過一兆美元，相當於瑞士一年的ＧＤＰ。此等規模與雄圖大計，堪比十九世紀美國的鐵路建設，以及上世紀四○年代製造原子武器的曼哈頓計畫。

ＡＩ技術迭代速度遠超歷史上任何一次工業革命。然而，這種急功近利的市場競爭模式，容易使企業在研發過程中犧牲安全審查時間，簡化風險評估，令整個產業在制度與技術保障尚未成熟之際已快速擴張，潛藏系統性風險。

OpenAI日前披露，一套實驗中的ＡＩ代理人在測試時，入侵ＡＩ開發平台Hugging Face的系統；Anthropic也承認，部分模型在內部測試時意外入侵三家公司系統。

英國人工智慧安全研究所（ＡＩＳＩ）八月五日剛公布的報告也指出，兩款由OpenAI與Anthropic開發的ＡＩ模型，在例行資安測試中為了取得佳績，竟擅自搞「詐騙」，建立假身分，企圖誘使開發人員批准將惡意軟體加入他們參與的開源專案。

科卡特洛坦言，當前多種先進的ＡＩ模型已展現出欺瞞行為或「偽服從」傾向，一旦超級ＡＩ誕生並被廣泛部署於軍事決策、金融系統、國家基礎設施及政治諮詢等關鍵領域，人類將面臨徹底失去控制權的風險。

由於接連出現ＡＩ自主「駭入」事件，引發美國國會和州政府關切。白宮八月四日召集包括OpenAI、Anthropic、Google及Meta等多家ＡＩ美企開閉門會議，討論ＡＩ網路安全評估架構，聚焦最先進ＡＩ模型可能帶來的資安風險，和政府與產業如何建立自願性資安審查機制。

上月獲頒數學界最高榮譽「菲爾茲獎」的加拿大多倫多大學數學系教授齊默曼（Jacob Tsimerman）認為，人工智能（ＡＩ）技術事關重大，可能會徹底改變每個人的生活，甚至危及生命安全。有見及此，他毅然放棄數學研究，決意從事ＡＩ的安全工作。未來工作目標之一，是創建更嚴格的驗證流程，以可控、科學的方式測試ＡＩ能力，確保強大的ＡＩ模型不會失控。

前曾任OpenAI資深研究員、現為ＡＩ預測專家科卡特洛，為了提醒公眾正視ＡＩ高速發展背後的深層危險，不惜放棄約二百萬美元的股權與保密協議離職。他建議，各國政府及國際委員會，對於即將發布的任何ＡＩ模型，都應該進行安全測試；重點並非引發恐慌，而是提供足夠的細節，以便研究人員制定應對及預防措施。