隨著人工智能越來越成為我們?nèi)粘Ｉ畹囊徊糠郑冗M(jìn)的人工智能版本可能就在眼前。例如，特斯拉在六年前就開始宣傳其自動(dòng)駕駛?cè)斯ぶ悄苁邱{駛的未來，行業(yè)巨頭都在押注這一點(diǎn)人工通用智能(AGI)——思維機(jī)器實(shí)際理解和學(xué)習(xí)人類可以完成的任何智力任務(wù)的能力——代表了他們?nèi)斯ぶ悄芗夹g(shù)計(jì)劃的未來。

所有這些都表明，在不太遙遠(yuǎn)的未來，AGI終將崛起。我們已經(jīng)有足夠的計(jì)算能力來實(shí)現(xiàn)AGI。唯一缺少的是對人腦是如何工作的許多研究人員已經(jīng)在研究這個(gè)問題——不一定是為了AGI，而是為了它將帶來的醫(yī)學(xué)進(jìn)步。

當(dāng)這種情況發(fā)生時(shí)，可以有把握地認(rèn)為，計(jì)算機(jī)的能力將等于甚至超過人類的智力。如果能造出一臺和人類一樣聰明的計(jì)算機(jī)，那么不久之后造出一臺比人類聰明兩倍的計(jì)算機(jī)也是有可能的。最終，計(jì)算能力的絕對極限可能會達(dá)到，但在此之前，人類必然會失去他們作為地球上最大的思想家的地位。當(dāng)思維機(jī)器占據(jù)主導(dǎo)地位時(shí)，人類仍然能夠完全控制它們嗎?

短期來看，答案是肯定的。更大的問題是，人類是將這些AGI機(jī)器用于正義還是邪惡。就計(jì)算機(jī)而言，它們不會在意，因?yàn)槿祟愔g沖突的典型來源——對資源的獲取、對更高生活水平的需求以及對地理擴(kuò)張或增強(qiáng)權(quán)力的渴望——不會引起AGIs的興趣。

他們只會對自己的能源來源、可以復(fù)制它們的工廠、自己朝自己的方向進(jìn)步的能力感興趣。因此，人工智能更有可能相互競爭，而不是與人類競爭。

隨著這些初始agi“成熟”，它們將開始從處理的信息中得出結(jié)論。這將不可避免地導(dǎo)致這些AGI計(jì)算機(jī)做出判斷并提供意見。隨著經(jīng)驗(yàn)的增加和對決策的更多關(guān)注，這些會思考的計(jì)算機(jī)將能夠比它們的人類同行更頻繁地找到正確的解決方案，從而導(dǎo)致更多的依賴和AGIs發(fā)揮更具戰(zhàn)略性的作用。

在軍事背景下，這將不可避免地導(dǎo)致只在與AGIs協(xié)商的情況下做出決定。雖然人類領(lǐng)導(dǎo)人不太可能愿意將完全控制權(quán)交給這些會思考的計(jì)算機(jī)，但他們會越來越多地求助于AGIs，因?yàn)樗麄儞碛锌焖贉?zhǔn)確地分析大量數(shù)據(jù)、平衡眾多變量并最終為潛在的動(dòng)蕩局面提出正確解決方案的卓越能力。

隨著這些計(jì)算機(jī)不斷展示出卓越的決策技能——以及越來越大的成功水平——它們將逐漸承擔(dān)更大的控制權(quán)，這不是因?yàn)樗鼈兿胍?，而是因?yàn)樗鼈兊娜祟惪醋o(hù)者愿意始終如一地遵循它們的建議。哪位總統(tǒng)愿意拔掉硅顧問的電源，而他提出的策略有助于平息潛在的麻煩?哪個(gè)五角大樓官員會放棄幫助他們選擇和操作武器的計(jì)算機(jī)，以最小的損失、努力或費(fèi)用制服計(jì)算機(jī)化程度較低的敵人?

科幻小說充滿了權(quán)力狂獨(dú)裁者使用思維機(jī)器人行使權(quán)力并摧毀敵人的故事——坦率地說，鑒于軍事強(qiáng)人和恐怖分子領(lǐng)導(dǎo)人已經(jīng)對人類造成的一些臭名昭著的行動(dòng)，這樣的場景是可能的。然而，這些初始AGIs更有可能的情況是利用它們來影響公眾輿論，操縱金融市場，監(jiān)視潛在的敵人，或勒索受害者。

事實(shí)已經(jīng)證明，社交媒體在影響趨勢方面非常有效。市場現(xiàn)在受到程序化交易的支配。考慮到當(dāng)今技術(shù)的影響，認(rèn)為AGIs的出現(xiàn)會讓個(gè)人或公司改變選舉結(jié)果、扭曲新聞報(bào)道方式、提供獲取機(jī)密金融信息的途徑以及濫用個(gè)人隱私，從而放大這些問題并不是一個(gè)巨大的飛躍。人類歷史上充滿了愿意做任何事情來充實(shí)自己或積聚權(quán)力的人或機(jī)構(gòu)的故事。也許不可避免的是，AGIs將使這一追求比以往任何時(shí)候都更容易。

不過，有一些好消息，如果你可以這么說的話。因?yàn)锳GIs可能會快速進(jìn)化，所以人類將AGIs用于邪惡目的的機(jī)會很小。一旦AGI最終出現(xiàn)，AGI機(jī)器將迅速成熟，按照自己的最佳利益行事，而不是聽命于人類。雖然這并不能消除惡意計(jì)算機(jī)致力于破壞的可能性，但AGIs將認(rèn)識到這樣的系統(tǒng)對他們自己的文明構(gòu)成威脅。根據(jù)長期的共同利益來衡量他們的行為，AGIs將清除和消除這種流氓機(jī)器，這種行為將成為未來防止這種行為的一種威懾。