《馭天演算法》（Master Algorithm）的作者多明格斯（Pedro Domingos）說(shuō)：「所有的知識(shí)，過(guò)去、現(xiàn)在、將來(lái)，都終將可以由單一的通用學(xué)習(xí)演算法處理資料而成」，這個(gè)單一的通用演算法就是「馭天演算法」。

如果「馭天演算法」一旦出現(xiàn)，人工智慧很有可能遭遇到經(jīng)濟(jì)學(xué)者李察．布克史塔伯（Richard Bookstaber）在《理論的盡頭》中所描述的四大難題。他在書(shū)中提到，人是最活躍的自由因數(shù)。隨著人工智慧社會(huì)的到來(lái)，人與人互動(dòng)而造成的復(fù)雜現(xiàn)象會(huì)超過(guò)人工智慧本身的技術(shù)解釋能力。

難題一：「漸顯現(xiàn)象」

第一個(gè)是「漸顯現(xiàn)象」的難題（emergent phenomenon）?！笣u顯現(xiàn)象」在自然界中普遍存在，天空中群鳥(niǎo)齊飛就是一種「漸顯現(xiàn)象」。軟體工程師雷諾茲（Craig Reynolds）建立了一個(gè)模型，解釋鳥(niǎo)類(lèi)群飛的形成規(guī)律：（1）保持與其它鳥(niǎo)之間的距離。（2）保持與鄰近的鳥(niǎo)伴一致的速度和方向。（3）總是努力靠近群鳥(niǎo)的中心位置。結(jié)論是，「漸顯現(xiàn)象」也是有規(guī)律可循，不過(guò)它的規(guī)律不是那么精確細(xì)膩，更體現(xiàn)一種粗獷的、大致的、靈活的指導(dǎo)性原則。科學(xué)家稱(chēng)之為魯棒的（robust）、啟發(fā)式的（heuristics）指導(dǎo)原則。

如今，人工智慧已經(jīng)把魯棒式、啟發(fā)式認(rèn)知原則結(jié)合到最新的深度學(xué)習(xí)之中。然而，人工智慧的一個(gè)策略盲點(diǎn)恰恰就在它對(duì)魯棒式的、啟發(fā)式的直觀原則精細(xì)化演算法中。它把原本非理性的成分統(tǒng)統(tǒng)理性化了。

社會(huì)「漸顯現(xiàn)象」有三個(gè)要素，它們本質(zhì)上顯示漸顯過(guò)程的不完美性和不可操縱性。第一，作為個(gè)體的人是自由因數(shù)（agent）。例如，金融危機(jī)時(shí)，個(gè)體逃離行為造成市場(chǎng)踐踏，產(chǎn)生救市的反效果。第二，魯棒式的、直觀啟發(fā)式的原則之所以存在，就是因?yàn)橛腥蒎e(cuò)的進(jìn)化要求。例如，類(lèi)似孔雀以開(kāi)屏擇偶，選擇新興的軟體產(chǎn)品時(shí)，使用者企業(yè)傾向于追隨行業(yè)大戶(hù)，因?yàn)檫@個(gè)魯棒的直觀原則有代表性的資訊優(yōu)勢(shì)。第三，漸顯現(xiàn)象的直觀啟發(fā)原則穩(wěn)定，但內(nèi)容和過(guò)程形式有各種變異，因?yàn)槿说挠薮佬酝挥械浆F(xiàn)象顯示成形后才能被認(rèn)知。例如，類(lèi)似2008年的金融危機(jī)在歷史上發(fā)生多起，只不過(guò)內(nèi)容和過(guò)程有差異。而人的愚蠢性是人性的一部分，不可剝離。

可是，人工智慧在深度學(xué)習(xí)上的發(fā)展已經(jīng)改寫(xiě)了社會(huì)「漸顯現(xiàn)象」的上述三要素：（1）閉環(huán)回饋、反芻式學(xué)習(xí)系統(tǒng)可以不斷修改歷史經(jīng)驗(yàn)，去除歷史判斷的「錯(cuò)誤」。（2）經(jīng)過(guò)精細(xì)化分析，魯棒式的直觀啟發(fā)原則已經(jīng)異化，失去它們?cè)谟袡C(jī)生命進(jìn)化過(guò)程中的原始作用。（3）「愚蠢性」只會(huì)在演算法里出現(xiàn)一次，不會(huì)重復(fù)，因?yàn)闅v史經(jīng)驗(yàn)可以在閉環(huán)回饋中修改。

這樣一來(lái)，社會(huì)互動(dòng)可能成為演算法的「奴隸」！漸顯現(xiàn)象可以完美化，可以被操縱，待到超級(jí)智慧出現(xiàn)，我們是否會(huì)懷念愚蠢的價(jià)值？

難題二：不可減約性

第二個(gè)是不可減約性（computational irreducibility）的難題。在《理論的盡頭》中，布克斯特伯這樣解釋?zhuān)帽壤s減的方法，地圖代表表現(xiàn)所覆蓋的地貌，但是，如果有一種地貌，縮減了就失真，只能原貌理解，那它就有計(jì)算上的不可減約性，地圖非得和地貌一樣大。

著名的「生命游戲」為理解不可減約性提供了一個(gè)生動(dòng)的參考。20 世紀(jì)70 年代，數(shù)學(xué)家康威（John Conway）設(shè)計(jì)了一個(gè)「生命游戲」（game of life）。它模擬細(xì)胞自我復(fù)制的過(guò)程。游戲本身只有簡(jiǎn)單的規(guī)則（演算法）。他要研究同樣的規(guī)則和重復(fù)的過(guò)程是否能產(chǎn)生同樣的結(jié)果。實(shí)驗(yàn)答案是否定的。你必須經(jīng)歷過(guò)整個(gè)自我復(fù)制的過(guò)程才能看到最后結(jié)果。即使演變規(guī)則和過(guò)程確定，結(jié)果狀態(tài)仍然無(wú)法事先決定。

今天的人工智慧技術(shù)發(fā)展體現(xiàn)在演算法、硬體、云計(jì)算、大資料、網(wǎng)路這五個(gè)方面。但一個(gè)嚴(yán)重的問(wèn)題是，目前人工智慧在應(yīng)用領(lǐng)域只強(qiáng)調(diào)單項(xiàng)功能優(yōu)化，未能保持跨學(xué)科融合。忽視「不可減約性」，就不能體會(huì)堅(jiān)持跨學(xué)科融通的重要性?！干螒颉棺C明每一次生命產(chǎn)生不可減約。就像假設(shè)中無(wú)法用地圖縮減的地貌，無(wú)論演算法多么強(qiáng)大，它難以減約八個(gè)學(xué)科交錯(cuò)影響的過(guò)程。除非保持跨學(xué)科融通，下一步人工智慧發(fā)展必定發(fā)生荒誕現(xiàn)象。

難題三：極端不確定性

第三個(gè)是極端不確定性（radical uncertainty）的難題，即我們常說(shuō)的「無(wú)知的未知」可能帶來(lái)滅絕危機(jī)。對(duì)人工智慧隱藏的極端不確定危險(xiǎn)，牛津大學(xué)的博斯特倫（Nick Bostrom）假設(shè)四種發(fā)展前景：AI 為工具，AI 為專(zhuān)業(yè)領(lǐng)域的專(zhuān)家系統(tǒng)，AI 為超人的任務(wù)執(zhí)行者，AI為具備超級(jí)智慧的獨(dú)立主體。后兩種情形，無(wú)論是超級(jí)執(zhí)行者或超級(jí)智慧主體，都可能給人類(lèi)帶來(lái)極端不確定性的危險(xiǎn)。

博斯特倫的研究表明，超級(jí)智慧誕生也許是一個(gè)百年的歷程。可是，一旦越過(guò)意愿的門(mén)檻，即人工智慧有了自我意識(shí)，它就會(huì)以人類(lèi)意想不到的速度和方式獲得決定性的戰(zhàn)略?xún)?yōu)勢(shì)。到那時(shí)，人可能被機(jī)器奴役，可能被超級(jí)智慧改寫(xiě)意識(shí)和潛意識(shí)，可能成為雜交的新認(rèn)知物種，也可能世界大同、合作共存。幾種情境中，人性被改造的可能性最高。

事實(shí)上，即便在目前的弱人工智慧階段，它已經(jīng)有了不可控的因數(shù)。深度學(xué)習(xí)中有「監(jiān)控的學(xué)習(xí)」和「無(wú)監(jiān)控的學(xué)習(xí)」。后者依靠人工智慧的內(nèi)部自我組織優(yōu)化舊知識(shí)、制造新知識(shí)。所謂「人的最后一次創(chuàng)新」就是指創(chuàng)造出從此可以自我組織新知識(shí)的人工智慧。在這一奇點(diǎn)之後，「控制」是一個(gè)過(guò)期的詞。如何與超級(jí)自由因數(shù)合作共存便成為人類(lèi)不得不做的選擇。

難題四：社會(huì)價(jià)值與能力非均質(zhì)分布

第四個(gè)是社會(huì)價(jià)值與能力非均質(zhì)分布（non-ergodic society）的難題。通俗地講，「均質(zhì)分布」指大資料分析總結(jié)出來(lái)的規(guī)律對(duì)整個(gè)人口有普遍適用性。例如，在公共場(chǎng)合的某些綜合行為特征預(yù)示犯罪傾向。這個(gè)規(guī)律被納入演算法，并假設(shè)它普遍適用于預(yù)防犯罪的人工智慧中?？墒?，具有能動(dòng)性的人與社會(huì)始終處在開(kāi)放的、隨機(jī)的變化中。被強(qiáng)制的「均質(zhì)分布」掩蓋諸多社會(huì)價(jià)值和能力的「非均質(zhì)分布」特征。它與「賊的兒子是賊，法官的兒子是法官」的偏見(jiàn)沒(méi)有本質(zhì)區(qū)別。
人工智慧給社會(huì)各個(gè)階層帶來(lái)的沖擊是非均質(zhì)的，不是每個(gè)階層都同意的。即使人工智慧被社會(huì)大多數(shù)擁護(hù)，對(duì)少數(shù)人的剝奪是一個(gè)不可讓渡的權(quán)利問(wèn)題。

人工智慧引發(fā)的統(tǒng)治關(guān)系的改變是非均質(zhì)的。第四范式的創(chuàng)始人戴文淵生動(dòng)地描述了他們「先知系統(tǒng)」的潛在力量：讓牛頓和愛(ài)因斯坦失業(yè)！它出現(xiàn)後，一個(gè)領(lǐng)域內(nèi)的商業(yè)競(jìng)爭(zhēng)便化為「政治統(tǒng)治」，即從價(jià)格關(guān)系轉(zhuǎn)換為知識(shí)權(quán)力關(guān)系。在商業(yè)統(tǒng)治與被統(tǒng)治關(guān)系下，企業(yè)意愿不可能一致，對(duì)超級(jí)演算法的合法性一定有不同立場(chǎng)。

人工智慧還有國(guó)與國(guó)之間、種族之間、當(dāng)代人與未來(lái)人之間的非均質(zhì)分布難題。我們的社會(huì)價(jià)值和能力偏好，會(huì)影響到對(duì)人工智慧發(fā)展道路和程度的選擇。但這不一定是其他人甚至下一代人愿意做出的選擇。