AI攻擊會(huì)先確定目標(biāo)，然后獲得反饋，不斷優(yōu)化提升。如果某一天AI能開發(fā)出完全新穎的解決方案，甚至開始優(yōu)化方案，那其殺傷力將是巨大的。

系統(tǒng)模糊性是當(dāng)前防御AI黑客的屏障

對于圍棋之類的游戲，規(guī)則、目標(biāo)、反饋都算是簡單的，確定的，沒有什么外在的東西攪局，輸或者贏就是反饋。GPT-3 AI可以寫連貫文章，因?yàn)樗诘氖澜缰挥形谋?。正因如此，?dāng)前的黑客獎(jiǎng)勵(lì)活動(dòng)有許多是在模擬環(huán)境下進(jìn)行的，全是人為、全都受約束，所有規(guī)則都是為AI準(zhǔn)備的。

系統(tǒng)的模糊性才是關(guān)鍵所在。我們可以將全球的稅法全部輸入AI，因?yàn)槎惙ɡ镉泄?，用來確定欠了多少稅。即使如此，所有法律都有模糊性。模糊很難轉(zhuǎn)化為代碼，AI處理起來很棘手。所以即使有了AI，在可預(yù)見的未來還是需要大量稅務(wù)律師。

大多的人類系統(tǒng)模糊性更強(qiáng)。AI能不能成為現(xiàn)實(shí)世界體育比賽黑客（比如曲棍球比賽）？恐怕很難。AI必須理解游戲的規(guī)則，但還遠(yuǎn)遠(yuǎn)不夠，它還要理解人體生理學(xué)、球桿和球的空氣動(dòng)力學(xué)，等等。當(dāng)然我們不能說絕對不可能，但肯定比應(yīng)付圍棋要難得多。

在短期內(nèi)，正因?yàn)樯鐣?huì)系統(tǒng)極為復(fù)雜，存在模糊性，增強(qiáng)了系統(tǒng)對AI黑客的防御力。未來一段時(shí)間不太可能會(huì)有AI體育黑客出現(xiàn)。如果機(jī)器人親自參與比賽，或者未來某一天AI極為先進(jìn)，能從所有維度理解廣闊世界，那時(shí)也許會(huì)有AI體育黑客誕生。

同樣的，賭場AI黑客、法律程序AI黑客也不太容易開發(fā)。AI想模擬個(gè)體或者群體工作還需要很長時(shí)間，暫時(shí)做不到。

但不要低估AI的非線性進(jìn)化能力

世界到處是AI黑客，這是一個(gè)科幻問題，但它并不是愚蠢的科幻問題。AI飛速提升，它的進(jìn)步是不穩(wěn)定、不連貫的。我們原本認(rèn)為很難的問題可能是容易的，認(rèn)為容易的也可能被證明是很難的。幾十年前我們可能會(huì)嘲笑AI，認(rèn)為它不可能征服圍棋，因?yàn)閲逄珡?fù)雜：不是說規(guī)則復(fù)雜，而是棋步的可能性太多。現(xiàn)在呢？AI已經(jīng)拿下圍棋。

所以說，我們應(yīng)該提前思考AI黑客問題，早早準(zhǔn)備預(yù)案。

首先我們應(yīng)該重視的可能是金融系統(tǒng)中的AI黑客，因?yàn)榻鹑谙到y(tǒng)的規(guī)則容易被算法利用。高頻率交易算法就是一個(gè)好例子，未來它會(huì)變得更復(fù)雜。我們可以用全球的金融實(shí)時(shí)信息武裝AI，加上全球的法律法規(guī)，加上新聞信息，加上其它相關(guān)信息，然后指派AI完成一個(gè)目標(biāo)，追求“最大的合法利潤”或者“盡可能獲得最大的利潤”。到時(shí)可能會(huì)有一些黑客行為超出人類的理解，也就是說人類根本意識(shí)不到黑客行為發(fā)生了。當(dāng)然，這樣的事情現(xiàn)在看來還有些遙遠(yuǎn)。

在短期內(nèi)，AI可能會(huì)配合人類完成黑客攻擊。AI可以尋找漏洞，有經(jīng)驗(yàn)的會(huì)計(jì)師或稅務(wù)律師協(xié)作，利用豐富經(jīng)驗(yàn)判斷是否可以利用漏洞牟利。

成熟AI黑客的殺傷力不可估量

縱觀人類歷史，黑客攻擊一般都是人類行為。AI如果開始發(fā)起攻擊，一切都會(huì)改變。AI不會(huì)限定于相當(dāng)?shù)姆绞剑粫?huì)像人一樣受到諸多限制。AI根本不休息，它們像外星人一樣思考，它可以以人類無法預(yù)料的方式黑掉系統(tǒng)。

計(jì)算機(jī)會(huì)在四個(gè)維度增強(qiáng)攻擊：速度、規(guī)模、范圍和復(fù)雜度。AI可以將攻擊力增強(qiáng)很多倍。

速度：人類發(fā)起攻擊可能要幾個(gè)月甚至幾年，AI不需要，幾天、幾小時(shí)甚至幾秒都有可能。例如，如果你把整個(gè)美國稅法全部輸入AI，命令它找出一套方案，將某個(gè)人的稅款降到最低，會(huì)怎樣？如果是跨國公司，可能會(huì)讓AI分析全球的稅法，給企業(yè)降稅。

規(guī)模：一旦AI找到了漏洞，它可能會(huì)以超大規(guī)模利用漏洞。當(dāng)AI開始闖入金融系統(tǒng)，它們會(huì)統(tǒng)治整個(gè)行業(yè)。到時(shí)信貸市場、稅法、普通法律都可能向富人傾斜。AI會(huì)讓不平等加劇。最先出現(xiàn)的AI金融黑客可能不是追求平等的研究人員開發(fā)的，而是跨國銀行、對沖基金、管理顧問。

范圍：社會(huì)的確有一套方案應(yīng)對黑客，但應(yīng)付的主要是人類黑客，是人類速度的攻擊。如果AI可以快速從稅法中找到幾百個(gè)漏洞，國家如何應(yīng)付，修正稅法的速度根本跟不上。

復(fù)雜度：在AI的輔助下，人類黑客可以發(fā)起復(fù)雜攻擊，其復(fù)雜度超過無輔助人類的理解水平。人工智能的復(fù)雜統(tǒng)計(jì)分析可以揭示變量之間的關(guān)系，找到隱藏漏洞，即使是最好的戰(zhàn)略家和專家也可能沒有意識(shí)到漏洞的存在。

當(dāng)AI以超快速度、超大規(guī)模、超廣范圍、超高復(fù)雜度發(fā)起攻擊時(shí)，社會(huì)可能根本無法處理。AI會(huì)不會(huì)突破人類的限制甚至統(tǒng)治社會(huì)？一些AI研究人員的確感到擔(dān)憂。雖然現(xiàn)在聽起來像是猜測，但人類早早預(yù)防還是有必要的。（曉歌）