友好型人工智能是人工智能研究人員使用的一個術語,指的是人工智能系統,一般來說,執行有助于人類的行動,而不是中立或有害的。這并不意味著盲目服從-相反,這個術語用于描述友好型人工智能系統,因為他們想成為,不是因為任何外...
友好型人工智能是人工智能研究人員使用的一個術語,指的是人工智能系統,一般來說,執行有助于人類的行動,而不是中立或有害的。這并不意味著盲目服從-相反,這個術語用于描述友好型人工智能系統,因為他們想成為,不是因為任何外力的作用。除了指完整的系統外,友好人工智能也是成功創建此類系統的理論和工程學科的名稱。

人控計算機
"友好的人工智能"一詞起源于奇點人工智能研究所的Eliezer Yudkowsky,他的目標是創造友好的人工智能,使其能夠在不受程序員干預的情況下改進自己的源代碼,這可能是任何地方對這個話題的第一次嚴格的討論。尤德科夫斯基引用了進化心理學和其他認知科學的觀點來支持他對友好人工智能問題的研究方法。
友好人工智能被認為是一門重要的學術學科,因為過去試圖"回答"流氓人工智能的問題通常會調用嚴格的程序約束,當人工智能變得比人類聰明時,這些約束必然會在其他解釋下崩潰,或者僅僅是當它獲得了重新編程的能力時。擬人化也是人工智能的一個問題。因為進化構建的有機體往往是自私的,許多思想家認為我們構建的任何人工智能都會有同樣的傾向,進化論建立了以自我為中心的目標系統,因為沒有其他方法利他主義的目標體系花了幾百萬年才發展起來,而且只有在同一個部落的成員通過互相幫助而獲得很多好處,而忽視這樣做會有很多損失的情況下才會如此。但是如果我們要從頭開始設計一個思維,我們可以在沒有以自我為中心的目標系統的情況下構建它。這不是"限制人工智能",它只是創造一個本質上無私的人工智能。
上述觀察是對友好人工智能領域做出貢獻的眾多觀察之一,一些人工智能研究人員認為,除非我們有更智能的人工智能系統進行實驗,否則我們無法確定實現友好人工智能所需的設計特征。其他人則認為,純粹的理論方法不僅是可能的,但是在開始對人工智能進行認真的嘗試之前,倫理上是必要的。