《馭天演算法》（Master Algorithm）的作者多明格斯（Pedro Domingos）說：「所有的知識，過去、現(xiàn)在、將來，都終將可以由單一的通用學(xué)習(xí)演算法處理資料而成」，這個單一的通用演算法就是「馭天演算法」。

如果「馭天演算法」一旦出現(xiàn)，人工智慧很有可能遭遇到經(jīng)濟學(xué)者李察．布克史塔伯（Richard Bookstaber）在《理論的盡頭》中所描述的四大難題。他在書中提到，人是最活躍的自由因數(shù)。隨著人工智慧社會的到來，人與人互動而造成的復(fù)雜現(xiàn)象會超過人工智慧本身的技術(shù)解釋能力。

難題一：「漸顯現(xiàn)象」

第一個是「漸顯現(xiàn)象」的難題（emergent phenomenon）?！笣u顯現(xiàn)象」在自然界中普遍存在，天空中群鳥齊飛就是一種「漸顯現(xiàn)象」。軟體工程師雷諾茲（Craig Reynolds）建立了一個模型，解釋鳥類群飛的形成規(guī)律：（1）保持與其它鳥之間的距離。（2）保持與鄰近的鳥伴一致的速度和方向。（3）總是努力靠近群鳥的中心位置。結(jié)論是，「漸顯現(xiàn)象」也是有規(guī)律可循，不過它的規(guī)律不是那么精確細(xì)膩，更體現(xiàn)一種粗獷的、大致的、靈活的指導(dǎo)性原則?？茖W(xué)家稱之為魯棒的（robust）、啟發(fā)式的（heuristics）指導(dǎo)原則。

如今，人工智慧已經(jīng)把魯棒式、啟發(fā)式認(rèn)知原則結(jié)合到最新的深度學(xué)習(xí)之中。然而，人工智慧的一個策略盲點恰恰就在它對魯棒式的、啟發(fā)式的直觀原則精細(xì)化演算法中。它把原本非理性的成分統(tǒng)統(tǒng)理性化了。

社會「漸顯現(xiàn)象」有三個要素，它們本質(zhì)上顯示漸顯過程的不完美性和不可操縱性。第一，作為個體的人是自由因數(shù)（agent）。例如，金融危機時，個體逃離行為造成市場踐踏，產(chǎn)生救市的反效果。第二，魯棒式的、直觀啟發(fā)式的原則之所以存在，就是因為有容錯的進化要求。例如，類似孔雀以開屏擇偶，選擇新興的軟體產(chǎn)品時，使用者企業(yè)傾向于追隨行業(yè)大戶，因為這個魯棒的直觀原則有代表性的資訊優(yōu)勢。第三，漸顯現(xiàn)象的直觀啟發(fā)原則穩(wěn)定，但內(nèi)容和過程形式有各種變異，因為人的愚蠢性往往只有到現(xiàn)象顯示成形后才能被認(rèn)知。例如，類似2008年的金融危機在歷史上發(fā)生多起，只不過內(nèi)容和過程有差異。而人的愚蠢性是人性的一部分，不可剝離。

可是，人工智慧在深度學(xué)習(xí)上的發(fā)展已經(jīng)改寫了社會「漸顯現(xiàn)象」的上述三要素：（1）閉環(huán)回饋、反芻式學(xué)習(xí)系統(tǒng)可以不斷修改歷史經(jīng)驗，去除歷史判斷的「錯誤」。（2）經(jīng)過精細(xì)化分析，魯棒式的直觀啟發(fā)原則已經(jīng)異化，失去它們在有機生命進化過程中的原始作用。（3）「愚蠢性」只會在演算法里出現(xiàn)一次，不會重復(fù)，因為歷史經(jīng)驗可以在閉環(huán)回饋中修改。

這樣一來，社會互動可能成為演算法的「奴隸」！漸顯現(xiàn)象可以完美化，可以被操縱，待到超級智慧出現(xiàn)，我們是否會懷念愚蠢的價值？

難題二：不可減約性

第二個是不可減約性（computational irreducibility）的難題。在《理論的盡頭》中，布克斯特伯這樣解釋，用比例縮減的方法，地圖代表表現(xiàn)所覆蓋的地貌，但是，如果有一種地貌，縮減了就失真，只能原貌理解，那它就有計算上的不可減約性，地圖非得和地貌一樣大。

著名的「生命游戲」為理解不可減約性提供了一個生動的參考。20 世紀(jì)70 年代，數(shù)學(xué)家康威（John Conway）設(shè)計了一個「生命游戲」（game of life）。它模擬細(xì)胞自我復(fù)制的過程。游戲本身只有簡單的規(guī)則（演算法）。他要研究同樣的規(guī)則和重復(fù)的過程是否能產(chǎn)生同樣的結(jié)果。實驗答案是否定的。你必須經(jīng)歷過整個自我復(fù)制的過程才能看到最后結(jié)果。即使演變規(guī)則和過程確定，結(jié)果狀態(tài)仍然無法事先決定。

今天的人工智慧技術(shù)發(fā)展體現(xiàn)在演算法、硬體、云計算、大資料、網(wǎng)路這五個方面。但一個嚴(yán)重的問題是，目前人工智慧在應(yīng)用領(lǐng)域只強調(diào)單項功能優(yōu)化，未能保持跨學(xué)科融合。忽視「不可減約性」，就不能體會堅持跨學(xué)科融通的重要性?！干螒颉棺C明每一次生命產(chǎn)生不可減約。就像假設(shè)中無法用地圖縮減的地貌，無論演算法多么強大，它難以減約八個學(xué)科交錯影響的過程。除非保持跨學(xué)科融通，下一步人工智慧發(fā)展必定發(fā)生荒誕現(xiàn)象。

難題三：極端不確定性

第三個是極端不確定性（radical uncertainty）的難題，即我們常說的「無知的未知」可能帶來滅絕危機。對人工智慧隱藏的極端不確定危險，牛津大學(xué)的博斯特倫（Nick Bostrom）假設(shè)四種發(fā)展前景：AI 為工具，AI 為專業(yè)領(lǐng)域的專家系統(tǒng)，AI 為超人的任務(wù)執(zhí)行者，AI為具備超級智慧的獨立主體。后兩種情形，無論是超級執(zhí)行者或超級智慧主體，都可能給人類帶來極端不確定性的危險。

博斯特倫的研究表明，超級智慧誕生也許是一個百年的歷程?？墒?，一旦越過意愿的門檻，即人工智慧有了自我意識，它就會以人類意想不到的速度和方式獲得決定性的戰(zhàn)略優(yōu)勢。到那時，人可能被機器奴役，可能被超級智慧改寫意識和潛意識，可能成為雜交的新認(rèn)知物種，也可能世界大同、合作共存。幾種情境中，人性被改造的可能性最高。

事實上，即便在目前的弱人工智慧階段，它已經(jīng)有了不可控的因數(shù)。深度學(xué)習(xí)中有「監(jiān)控的學(xué)習(xí)」和「無監(jiān)控的學(xué)習(xí)」。后者依靠人工智慧的內(nèi)部自我組織優(yōu)化舊知識、制造新知識。所謂「人的最后一次創(chuàng)新」就是指創(chuàng)造出從此可以自我組織新知識的人工智慧。在這一奇點之後，「控制」是一個過期的詞。如何與超級自由因數(shù)合作共存便成為人類不得不做的選擇。

難題四：社會價值與能力非均質(zhì)分布

第四個是社會價值與能力非均質(zhì)分布（non-ergodic society）的難題。通俗地講，「均質(zhì)分布」指大資料分析總結(jié)出來的規(guī)律對整個人口有普遍適用性。例如，在公共場合的某些綜合行為特征預(yù)示犯罪傾向。這個規(guī)律被納入演算法，并假設(shè)它普遍適用于預(yù)防犯罪的人工智慧中?？墒牵哂心軇有缘娜伺c社會始終處在開放的、隨機的變化中。被強制的「均質(zhì)分布」掩蓋諸多社會價值和能力的「非均質(zhì)分布」特征。它與「賊的兒子是賊，法官的兒子是法官」的偏見沒有本質(zhì)區(qū)別。
人工智慧給社會各個階層帶來的沖擊是非均質(zhì)的，不是每個階層都同意的。即使人工智慧被社會大多數(shù)擁護，對少數(shù)人的剝奪是一個不可讓渡的權(quán)利問題。

人工智慧引發(fā)的統(tǒng)治關(guān)系的改變是非均質(zhì)的。第四范式的創(chuàng)始人戴文淵生動地描述了他們「先知系統(tǒng)」的潛在力量：讓牛頓和愛因斯坦失業(yè)！它出現(xiàn)後，一個領(lǐng)域內(nèi)的商業(yè)競爭便化為「政治統(tǒng)治」，即從價格關(guān)系轉(zhuǎn)換為知識權(quán)力關(guān)系。在商業(yè)統(tǒng)治與被統(tǒng)治關(guān)系下，企業(yè)意愿不可能一致，對超級演算法的合法性一定有不同立場。

人工智慧還有國與國之間、種族之間、當(dāng)代人與未來人之間的非均質(zhì)分布難題。我們的社會價值和能力偏好，會影響到對人工智慧發(fā)展道路和程度的選擇。但這不一定是其他人甚至下一代人愿意做出的選擇。