從蘋果的Siri語音助理到自駕車，人工智慧（AI）的發展非常快速。雖然科幻故事總是把AI描述成和人一樣擁有個性的機器人，但其實AI的內容很多元，包括Google的搜尋演算、IBM的華生（Watson）問答系統及自動化武器，都是AI。

目前的AI技術應稱為有限AI（或低階AI），因為設計用途都是為了執行一些有限作業，例如臉部辨識、網路搜尋或開車。然而，許多研究人員的長期目標是創造出普遍AI（AGI或高階AI）。相較於有限AI只能在單一任務超越人類，高階AI將能在幾乎所有認知任務都超越人類。

短期而言，AI對社會利益的衝擊，引發各界對經濟、法律到驗證、合法性、安全與及制等技術性議題的研究。若AI的威脅只是讓電腦當機或被駭，人們可能還認為只是小麻煩，但若AI能控制人開的車、飛機、心臟節律器、自動交易系統或電力系統，其威脅將超越一切。AI的另一個短期問題，就是人們可能會在開發毀滅性自動化武器上展開武力競賽。

長期而言，AI的問題則是，當高階AI真的被開發出來，或當AI系統在所有認知作業的能力都優於人類時，人類會發生什麼事。AI系統可能會開始自己循環進步，人類智慧將遠追不上AI。雖然這種超常智慧有助人類發明革命性的新科技、消滅戰爭、疾病和貧窮，但也有專家擔心人類將因此沒有以後，除非人類懂得先修改AI的目標，成為人們想要的目標。

多數研究人員都同意超常智慧AI不可能像人一樣有愛恨情緒，也認為AI不會發展到有意去幫助人或加害人。專家在思考AI可能的風險時，最常聯想到兩種情況。首先是AI被設計用來毀滅任務，例如自動化武器，而開發AI武器的軍備競賽也可能在無意間爆發AI戰爭。

其次，AI被設計用來執行良善的任務，達成目標的方法卻具毀滅性，例如你叫一台聽話的智慧車用最快速度載你去機場，卻可能反而超速、造成行車危險。英國學者史蒂夫霍金、特斯拉執行長穆斯克、蘋果共同創辦人沃茲尼克、微軟創辦人蓋茲等許多知名科技人士都曾表達對AI風險的疑慮。

生命未來研究所（FLI）的研究指出，人們對AI存有好幾種迷思，卻不見得符合事實，AI確實有風險，卻也能造福人類。

第一個迷思是達成AI里程碑的時間表。拜近來突破所賜，許多專家認為5年後、甚至幾十年後才會達到的AI里程碑都已被達成，專家們開始認真看待超常智慧在自己有生之年內出現的可能性。過去針對超常AI何時會出現的訪調結果都顯示，專家意見分歧，但多數人認為至少會在數十年之後，因此要擔心這個問題，不如先展開控制AI的安全研究。

第二個迷思是超常AI的風險。人們會擔心，當超常AI出現，會不會有主觀意識？當自駕車撞到人時，會不會「良心不安」？ FLI指出，超常AI影響我們人類之處，應該是超常AI「做了什麼」，而非超常AI「感受如何」，我們該擔心之處並非超常AI是否有「惡意」，而是我們是否有管理的能力：確保超常AI的目標、達成目標的手段符合整體人類的共同價值。

FLI認為，在面對AI科技時，最好的做法是別去阻礙科技發展，而是要加速提升管理科技的智慧。而要做到這點，就要透過支持AI安全性研究，讓人類能夠控制AI、運用AI改進福祉。