人工智能近來取得的一些進(jìn)展引起了公眾對其未來成就的極大期待，也將人們對其危險性的關(guān)注提升到了前所未有的高度。這方面的標(biāo)志性事件在國際上是去年霍金、馬斯克、蓋茨等對人工智能可能危及人類命運(yùn)的警告，在國內(nèi)是圍棋人機(jī)大戰(zhàn)引發(fā)的大討論。人工智能危險嗎?學(xué)界對這個問題并無共識，所以下面的分析大都是我的個人觀點(diǎn)。
對這個問題的簡單答復(fù)是：在一個客機(jī)都能被用來撞大樓，像三聚氰胺、蘇丹紅等化工產(chǎn)品都能在食品行業(yè)發(fā)揮“功效”的時代，有哪種科技敢說自己的成果是絕對安全，不可能造成任何危害的呢?人工智能自然不能例外。任何科學(xué)技術(shù)成果都是既能有正面后果，又能有負(fù)面后果的。我們所能做的只是盡量用其利避其害而已。
以上的老生常談當(dāng)然不足以解除很多人的疑慮，因為人工智能不是一般的科學(xué)技術(shù)。既然人類稱霸地球的主要憑仗是其智力，那么智力超過人類的機(jī)器自然應(yīng)當(dāng)引起警惕。會不會有一天“機(jī)器不仁，以人類為芻狗”，就像災(zāi)難片里描寫的那樣?這里的核心問題是人工智能是否可控。如果可控，那么其危險性就和其它計算機(jī)技術(shù)無本質(zhì)差別。否則顯然有危險，而且智能越高越危險。
這似乎是將我們?nèi)斯ぶ悄苎芯空咧糜谶M(jìn)退兩難之境：如果我們建造的系統(tǒng)可控，大家會覺得它們其實(shí)沒多少智能可言(當(dāng)我們是騙子)，而如果不可控，大家又會說我們危害人類(當(dāng)我們是瘋子)。我寫這篇短文自然是要分辯說，其實(shí)還是有第三種情形的。
首先要回到很多關(guān)于人工智能的討論都應(yīng)該澄清的一點(diǎn)：在“人工智能”的旗下其實(shí)有幾種非常不同的研究，而它們在幾乎所有基本問題上都給出了不同的回答。這正是為什么我為《賽先生》寫的第一篇就是《當(dāng)你談?wù)撊斯ぶ悄軙r，到底在談?wù)撌裁?》。就目前的討論而言，我們也需要區(qū)分幾種不同的情況。
借用心理學(xué)的名詞，讓我們把一個計算機(jī)系統(tǒng)的輸入看作一系列“刺激”，而將其對應(yīng)的輸出看作系統(tǒng)的“反應(yīng)”。這樣一來，系統(tǒng)的歷史就是由一系列“刺激-反應(yīng)”過程所組成的，其中所有的刺激構(gòu)成系統(tǒng)的“經(jīng)驗”，而所有的反應(yīng)構(gòu)成其“行為”。在這種描述下我們可以區(qū)分三種系統(tǒng)：
· 計算系統(tǒng)：刺激-反應(yīng)關(guān)系是完全被系統(tǒng)的初始設(shè)計確定的，因此相同的刺激永遠(yuǎn)導(dǎo)致相同的反應(yīng)。用計算機(jī)科學(xué)的術(shù)語來說，這個系統(tǒng)的輸入輸出關(guān)系構(gòu)成一個“計算”或者說“函數(shù)”，而與當(dāng)前時刻或系統(tǒng)的經(jīng)歷無關(guān)。
· 適應(yīng)系統(tǒng)：刺激-反應(yīng)關(guān)系是被系統(tǒng)的初始設(shè)計和經(jīng)歷共同確定的，因此相同的刺激在不同時刻可能導(dǎo)致不同的反應(yīng)，而且這些反應(yīng)一般會隨時間朝有利于系統(tǒng)的方向發(fā)展。僅從系統(tǒng)初始設(shè)計或刺激本身是不能確定系統(tǒng)的反應(yīng)的。
· 隨機(jī)系統(tǒng)：刺激-反應(yīng)關(guān)系不被系統(tǒng)初始設(shè)計和系統(tǒng)的經(jīng)歷確定。一個觀察者即使知道該系統(tǒng)以往的一切，也無法哪怕是近似地預(yù)料系統(tǒng)的行為。
如我在《人機(jī)大戰(zhàn)賽前思考:計算機(jī)會有超人的智能嗎?》中所分析的，傳統(tǒng)的計算機(jī)系統(tǒng)和主流人工智能系統(tǒng)均屬于計算系統(tǒng)，其行為基本由初始設(shè)計所確定。絕大多數(shù)機(jī)器學(xué)習(xí)系統(tǒng)也屬于這一類，因為其“訓(xùn)練”過程實(shí)際上是設(shè)計階段的一個必要步驟，而在系統(tǒng)交到使用者手中之后的經(jīng)驗已經(jīng)不會對系統(tǒng)行為產(chǎn)生根本性影響了。計算系統(tǒng)的危險基本可以說是由設(shè)計(包括訓(xùn)練)中的失誤或疏漏造成的。完全排除這種危險是幾乎不可能的，因為現(xiàn)在還沒有辦法證明設(shè)計的完全正確性，更無法排除系統(tǒng)被有意或無意地用于其它出乎設(shè)計者預(yù)料的用途。但是，這種危險性并非人工智能或計算機(jī)所獨(dú)有的，因此其應(yīng)對也就不出“老生常談”的范圍。在目前的相關(guān)討論中，那些主張“人工智能并不危險”的專家大多說的是這類系統(tǒng)。盡管他們說的基本是對的，其結(jié)論的有效性也僅限于他們所了解的那類“智能系統(tǒng)”。
隨機(jī)系統(tǒng)當(dāng)然是可以造出來的，讓一個導(dǎo)彈控制系統(tǒng)用隨機(jī)數(shù)決定發(fā)射時間和目標(biāo)就行了。這的確很危險，但由于這種系統(tǒng)不滿足任何正常的需求，沒多少人真的在“研究”它們。如何防止一些狂人真的這么干也不是人工智能獨(dú)有的問題，因此這里就不討論了。沒有根據(jù)認(rèn)為智能高度發(fā)展的系統(tǒng)等同于隨機(jī)系統(tǒng)。即使我們自己那些似乎“無中生有”的靈感、直覺、下意識、自由意志等等也只能說是超出了我們在某一時刻對自身的認(rèn)識，而不能說是完全無跡可尋的。
真正屬于人工智能獨(dú)有的危險性問題是關(guān)于適應(yīng)系統(tǒng)的。和計算系統(tǒng)不同，適應(yīng)系統(tǒng)的行為不是完全由先天因素(初始設(shè)計)所確定的，而是同時取決于系統(tǒng)的先天和后天因素。這里的“后天因素”包括系統(tǒng)的全部經(jīng)驗，而不僅僅是一個有限的訓(xùn)練階段。在下面的討論中，“人工智能”是指這種系統(tǒng)，即《人工智能迷途：計算機(jī)的高技能等于高智能嗎?》中提到的“通用人工智能”。
以我所設(shè)計的納思系統(tǒng)[1]為例，系統(tǒng)的“先天”成分包含其“元知識和元能力”，它們使得系統(tǒng)以一定的方式和外界相互作用，并通過推理和學(xué)習(xí)來構(gòu)建和調(diào)整其自身的目標(biāo)、知識和技能，而這個過程中所用的“建筑材料”都來自于經(jīng)驗。作為一個通用智能系統(tǒng)，納思不對經(jīng)驗的內(nèi)容做任何限定。這樣設(shè)計出的系統(tǒng)是“道德中性”的，既可以行善又可以作惡。出于安全性和工作效率等考慮，將來在把一個納思系統(tǒng)置于一個具體環(huán)境中讓它“獨(dú)立生活”之前，會在其中“植入”某些目標(biāo)、知識和技能。但這些先天成分的內(nèi)容是和經(jīng)驗相關(guān)的，因此可能被系統(tǒng)依后天經(jīng)驗所修改。換句話說，這種“植入”相當(dāng)于“積淀的經(jīng)驗”，因此沒有在根本上改變納思的基本設(shè)計原則，即所有和經(jīng)驗相關(guān)的都是可修改的，而只有元知識和元能力是先驗的，且不受經(jīng)驗的影響。但元知識和元能力不直接確定系統(tǒng)的行為，而只是確定行為和經(jīng)驗的關(guān)系。
這種系統(tǒng)的“學(xué)習(xí)”和機(jī)器學(xué)習(xí)系統(tǒng)的“訓(xùn)練”過程不同，在于其結(jié)果并不收斂于樣本，而是永遠(yuǎn)對未來的修正開放。這里學(xué)習(xí)不僅限于知識積累或更新，也包括目標(biāo)演化和技能習(xí)得。這樣一來，盡管可以將阿西莫夫的“機(jī)器人三律令”(譯作“機(jī)器人三定律”是錯的)之類的道德律令植入納思之中，完全靠這種辦法也是無法保證系統(tǒng)只行善不作惡的。主要原因有下面幾點(diǎn)。
首先，并沒有所有人都同意的具體道德律令。盡管的確存在某些普世價值，它們也是隨著社會的發(fā)展而變化的。在人類自己都沒有共識的倫理問題上，計算機(jī)應(yīng)當(dāng)聽誰的?把某些人在某些時刻的觀點(diǎn)作為“最高指示”植入人工智能中，未必會符合人類的長遠(yuǎn)利益。
其次，即使可能給智能系統(tǒng)植入一組“道德規(guī)范”，在系統(tǒng)面臨一個具體問題時，往往發(fā)現(xiàn)這些要求會互相競爭甚至沖突，而且難以判定哪個行動是最“善”的。在面臨“先救誰”之類的難題時，人們常常陷入進(jìn)退維谷的境況。這種“理想的沖突”是不能通過對目標(biāo)簡單排序所能解決的，比如說曾經(jīng)被廣為傳播的“集體的事再小也是大事，個人的事再大也是小事”就常常導(dǎo)致其實(shí)很不道德的后果。
最后，由于適應(yīng)系統(tǒng)的知識是囿于其過去經(jīng)驗的，因此不可能準(zhǔn)確預(yù)測其行為的全部后果。即使它出于最良好動機(jī)的行為也可能導(dǎo)致不幸的結(jié)局。在人類歷史上，“好心”辦成的壞事未必比惡意的來得少。既然人類如此，有什么理由期望人工智能可以保證其行為結(jié)果的“至善”呢?
在目前的討論中，一種有影響的觀點(diǎn)是“人工智能系統(tǒng)必須保證不作惡”。盡管出發(fā)點(diǎn)可以理解，這種觀點(diǎn)是建立在對智能的誤解之上的。比如說，常見的假設(shè)就是既然一個系統(tǒng)有高級“智能”，那它應(yīng)該可以準(zhǔn)確預(yù)見其每個行為的全部后果。實(shí)際上沒人能做到這點(diǎn)，而且根據(jù)我的理論，也沒有哪個人工智能系統(tǒng)可以做到這一點(diǎn)。“全知全能”的是“人工神靈”，我不認(rèn)為有可能造得出來。
但上述結(jié)論并非說明我們對人工智能系統(tǒng)的安全性完全無能為力。適應(yīng)系統(tǒng)的可控性是個程度問題，既不是完全可控，也不是完全不可控。設(shè)計者可以確定系統(tǒng)的先天設(shè)計，但一般無法完全確定系統(tǒng)的后天經(jīng)驗。為了提高系統(tǒng)的可靠性，可以先天植入有關(guān)控制信息(如以“道德律令”的形式)，并在系統(tǒng)的“幼年期”通過教育(即控制其經(jīng)驗)的方式培育其目標(biāo)、知識和技能的基礎(chǔ)結(jié)構(gòu)。這些措施將在很大程度上(但絕不是完全)確定系統(tǒng)的未來行為，而其不足之處將由其它機(jī)制來彌補(bǔ)。
比如說，誰應(yīng)該對一個適應(yīng)系統(tǒng)的錯誤負(fù)責(zé)?根據(jù)錯誤的性質(zhì)，其責(zé)任主體可能是系統(tǒng)的設(shè)計者或教育者，也可能是系統(tǒng)自身。在這種情況下，我們的教育體系、法律體系和社會體系都需要做相應(yīng)的調(diào)整。我的猜測是：防止人工智能作惡的辦法原則上和防止人作惡的辦法一樣，盡管細(xì)節(jié)會很不同。這些辦法不解決所有問題(所以還是有惡人)，但也并非完全無效(所以人類社會還沒崩潰)。
綜上所述，克服適應(yīng)系統(tǒng)的危險性的要點(diǎn)和難點(diǎn)在于對其后天經(jīng)驗的控制和影響。這不完全是個技術(shù)問題，而也是個社會工程。盡管我們可以對其進(jìn)行各種設(shè)想，任何具體措施都必須等到我們對這種系統(tǒng)的行為方式有足夠準(zhǔn)確的認(rèn)識后才能建立。那種“人工智能安全研究必須先行”的觀點(diǎn)是不現(xiàn)實(shí)的，就像在飛機(jī)發(fā)明之前無法制定有效的飛行安全條例一樣。有人大叫“等發(fā)明出來就晚了!”，這當(dāng)然也有道理。因此我的建議是盡可能區(qū)分“科學(xué)研究”和“技術(shù)應(yīng)用”?？茖W(xué)研究必須先行，但應(yīng)當(dāng)對實(shí)際應(yīng)用加以規(guī)范。即使我們無法預(yù)見一項技術(shù)的全部后果，盡可能詳細(xì)的評估還是必要的。隨著人工智能研究的發(fā)展，我們對有關(guān)安全措施的認(rèn)識也是會逐步深入的。像很多其它領(lǐng)域中的安全性問題一樣，人工智能安全問題將是一個長期的研究課題，而一勞永逸地防患于未然是不可能的。
既然人工智能的確有失控的危險，那為什么還要研究它呢?像有些人呼吁的那樣，把它禁止了不就完了?簡單說來，這是因為既不該禁，也禁不成。
人工智能的研究動機(jī)遠(yuǎn)不僅僅是用機(jī)器人代替工人以便給老板省工資。如我反復(fù)強(qiáng)調(diào)的，在這面旗幟下有懷有各種目的的人。以我自己的研究為例，就是試圖建立一個“廣義智能理論”以涵蓋“人類智能”、“計算機(jī)智能”、“動物智能”、“群體智能”、“外星智能”等等具體形式[2]。為了檢驗這個理論，我設(shè)計了一個邏輯模型，并且在計算機(jī)上實(shí)驗它。這個計算機(jī)系統(tǒng)(納思)不是針對任何具體應(yīng)用的，盡管有可能在未來找到各種用處。這項研究實(shí)際上和邏輯學(xué)、心理學(xué)、語言學(xué)、哲學(xué)等領(lǐng)域的關(guān)系比和計算機(jī)科學(xué)的關(guān)系更近些，因為它是在研究智能、認(rèn)知、思維、意識等現(xiàn)象的一般規(guī)律，而計算機(jī)只是檢驗這些規(guī)律的工具。禁止這種研究的理由大概可以被用來禁止所有學(xué)術(shù)研究了。“認(rèn)識你自己”的確可能導(dǎo)致各種你不希望的后果，但渾渾噩噩真的更好嗎?
從未來應(yīng)用的角度看，我認(rèn)為人工智能對人類的主要貢獻(xiàn)將不是在各種職業(yè)中代替人，而是解決那些人難以解決的問題。比如在核電站和礦井發(fā)生事故時，有智能機(jī)器人結(jié)果可能就會完全不同。往更遠(yuǎn)處說，智能機(jī)器人在星際移民等事業(yè)中可能起決定性的作用。反對人工智能的人往往強(qiáng)調(diào)這項技術(shù)所可能帶來的危險，而忽略了它在克服其它危險時可能的貢獻(xiàn)。的確沒有人能證明有人工智能的未來會更美好，但同樣也沒有人能證明沒有人工智能的未來會更美好。我們只能權(quán)衡現(xiàn)有的正反證據(jù)以判斷是否使用一項技術(shù)。如果只要有一點(diǎn)危險就要禁止，大概沒有什么技術(shù)能用了。汽車每天撞死很多人，為什么不以“生命的價值高于一切”為由來禁止其使用?
至于為什么人工智能的研究是無法禁止的，可以看看歷史上對科學(xué)研究的禁令有多少次成功過就清楚了，更不用說這個領(lǐng)域有如此誘人的前景。那么我們能不能只研究“安全的人工智能”而禁止“危險的人工智能”呢?這是不可能的，因為和智能所聯(lián)系的“創(chuàng)造性”、“靈活性”、“適應(yīng)性”、“自主性”等褒義詞都蘊(yùn)含著“不可靠”、“不可預(yù)測”、“不可控制”等貶義詞。它們本來就是同一枚硬幣的兩面?，F(xiàn)在那些“安全的人工智能技術(shù)”按我的標(biāo)準(zhǔn)根本算不上有多少智能。
總而言之，人工智能的危險性應(yīng)當(dāng)引起我們足夠的重視。以目前的主流“智能技術(shù)”為參照所打的保票不足為憑，因其視野太窄，完全沒有考慮到適應(yīng)性的后果。而另一方面，對人工智能的無知或誤解所引發(fā)的恐懼及由此觸發(fā)的躲避或抵制也不會使人類更安全。人工智能有可能成為人類歷史上影響最重大的科技進(jìn)展之一，而越是如此，越要求我們的應(yīng)對是建立在認(rèn)真嚴(yán)肅的研究基礎(chǔ)上的，而非僅僅靠直覺或臆想。（文|賽先生）
{{item.content}}