對(duì)人工智能引發(fā)安全問(wèn)題的思考
——以波音737-MAX 8墜機(jī)事故為例

軍事科學(xué)院研究生院 彭 辛 陸軍邊海防學(xué)院 尼瓦扎提 孔維君／文

2019年3月10日，埃塞俄比亞航空一架波音737-MAX 8飛機(jī)，起飛僅6分鐘就墜毀，機(jī)上157人全部罹難，失事飛機(jī)的機(jī)齡不到4個(gè)月。這是繼2018年10月29日印尼獅航空難事故造成 189人罹難后，波音該機(jī)型發(fā)生的第二起空難，其機(jī)齡也只有3個(gè)月，且起飛僅13分鐘后便墜入了爪哇海。都是新機(jī)、事故都發(fā)生在起飛階段、墜毀前都發(fā)生了控制異常，這些相同的關(guān)聯(lián)因素，不由得使人試圖從事故中尋找內(nèi)在的原因。

波音737-MAX8因發(fā)動(dòng)機(jī)位置的更改導(dǎo)致飛機(jī)機(jī)頭容易抬高。因此，它使用了一個(gè)自動(dòng)防失速系統(tǒng)：MCAS（機(jī)動(dòng)特性增強(qiáng)）。機(jī)頭裝了三個(gè)攻角傳感器，在飛機(jī)迎角過(guò)大時(shí)系統(tǒng)會(huì)自動(dòng)下調(diào)機(jī)頭以進(jìn)入它設(shè)定的安全狀態(tài)。獅航空難調(diào)查結(jié)論認(rèn)為，機(jī)頭左側(cè)攻角傳感器故障，使MCAS錯(cuò)誤地連續(xù)進(jìn)入自殺式俯沖，一共26次，而獅航飛行員則努力拉了33次機(jī)頭，試圖拯救飛機(jī)，但最終人工操作沒(méi)能成功糾偏。2019年4月4日，埃塞俄比亞交通部公開(kāi)了埃航空難調(diào)查報(bào)告：飛機(jī)連續(xù)出現(xiàn)上升和下降兩種姿態(tài)，飛行員多次執(zhí)行了飛機(jī)制造商提供的所有程序，但依然失去了對(duì)飛機(jī)的控制。隨后波音公司企業(yè)網(wǎng)站發(fā)布公司首席執(zhí)行官米倫伯格自事故發(fā)生以來(lái)的首次致歉聲明，其承認(rèn)兩架客機(jī)墜毀前都出現(xiàn)特定傳感器讀數(shù)錯(cuò)誤、促使客機(jī)飛行姿態(tài)矯正系統(tǒng)“錯(cuò)誤啟動(dòng)”。由此，我們不難發(fā)現(xiàn)，智能輔助系統(tǒng)在兩起空難中扮演了特殊的角色。隨著人工智能在我們生活領(lǐng)域的應(yīng)用越來(lái)越深入和廣泛，其帶來(lái)的安全問(wèn)題也逐步顯現(xiàn)，如何進(jìn)行有效應(yīng)對(duì)成了一個(gè)不得不思考的問(wèn)題。

人工智能技術(shù)在應(yīng)用上的安全隱患

（一）弱化人的思維能力

隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)的出現(xiàn)，人們?cè)趯?shí)際生活中遇到的數(shù)據(jù)越來(lái)越海量和紛繁復(fù)雜。通過(guò)機(jī)器學(xué)習(xí)，高效率地從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識(shí)，已逐漸成為當(dāng)今人工智能技術(shù)發(fā)展的主要推動(dòng)力。但與此同時(shí)必然帶來(lái)的是人類(lèi)思維工作量的減輕，從而被動(dòng)的弱化思維活動(dòng)。在自動(dòng)化裝置面前，飛行員的角色從操縱者轉(zhuǎn)變?yōu)橛^察者、監(jiān)督者和決策者，飛行控制過(guò)程在一定程度上對(duì)于飛行員是不透明的，一旦出現(xiàn)問(wèn)題，飛行員無(wú)法憑自己的經(jīng)驗(yàn)和能力從機(jī)器感知的大量數(shù)據(jù)中精確找出致命危險(xiǎn)。甚至在人工智能保姆式的代辦下，飛行員也會(huì)很難形成某方面經(jīng)驗(yàn)和能力。

（二）剝奪人的實(shí)踐能力

為了避免人為失誤，各行各業(yè)不斷引入自動(dòng)化裝備。這些自動(dòng)化裝備在設(shè)計(jì)之初便有一個(gè)普遍的準(zhǔn)則，就是人是有可能犯錯(cuò)的，但是執(zhí)行程序的機(jī)器是不可能犯錯(cuò)的，所以在人犯錯(cuò)的過(guò)程中，機(jī)器必須幫助人糾正自己的錯(cuò)誤。這也就產(chǎn)生了獅航飛行員幾十次的與控制系統(tǒng)做斗爭(zhēng)，但依然沒(méi)有奪回控制權(quán)的問(wèn)題，因?yàn)闄C(jī)器“執(zhí)拗”的認(rèn)為人在執(zhí)行錯(cuò)誤的操作。甚至在埃塞航飛行員發(fā)現(xiàn)了問(wèn)題所在，斷開(kāi)MCAS系統(tǒng)以后，控制權(quán)依然沒(méi)有交還給飛行員。

（三）影響設(shè)備的可靠性

自動(dòng)化、智能化裝置往往強(qiáng)調(diào)方便高效，但在技術(shù)發(fā)展的初期卻往往與可靠性相背離。為什么前蘇聯(lián)乃至現(xiàn)在的俄羅斯，在武器裝備研制上，長(zhǎng)期以來(lái)讓人感覺(jué)粗放、人機(jī)交互差？相對(duì)而言，高精尖的美軍裝備在實(shí)戰(zhàn)運(yùn)用中也常常因故障頻發(fā)而備受詬病，這從兩國(guó)航母的發(fā)展上就能直觀說(shuō)明。前者堅(jiān)持使用低效但可靠性高的滑躍式甲板，而后者里程碑意義上的“福特”級(jí)航母，自2017年服役以來(lái)，平均400次電磁彈射就產(chǎn)生重大故障，遠(yuǎn)低于4166次的作戰(zhàn)要求，甚至不能保證一整天的連續(xù)作戰(zhàn)。兩相對(duì)比，在實(shí)戰(zhàn)中孰優(yōu)孰劣，似乎還不好說(shuō)。這樣的矛盾，在高技術(shù)發(fā)展領(lǐng)域一直相生相伴。雖然從長(zhǎng)遠(yuǎn)來(lái)看，發(fā)展自動(dòng)化、智能化是大勢(shì)所趨。但是在人命關(guān)天的安全領(lǐng)域，安全的控制權(quán)至少不能完全交給機(jī)器，必須有人類(lèi)自己的一片自留地。

安全問(wèn)題產(chǎn)生的原因

（一）過(guò)度的智能化把人隔離在認(rèn)知之外

“黑箱”是控制論中的一個(gè)概念，是指內(nèi)部結(jié)構(gòu)不清楚，只能通過(guò)外部觀察和試驗(yàn)去認(rèn)識(shí)其功能和特性的系統(tǒng)。研究黑箱的常用辦法就是找出其輸入、輸出關(guān)系，進(jìn)而了解其內(nèi)部原理。人腦就是“黑箱”的典型代表，當(dāng)人完成一個(gè)思維活動(dòng)時(shí)，外人也很難知道他是把什么樣的材料進(jìn)行了怎樣的組合和提煉。而所謂人工智能，就是構(gòu)造一個(gè)人工系統(tǒng)，使其去完成以往需要人的智力才能勝任的工作，這就好比又制造了一個(gè)黑箱。開(kāi)發(fā)者也許清楚其運(yùn)作機(jī)理，但對(duì)于使用者來(lái)說(shuō)，在其帶來(lái)方便性的同時(shí)，卻可能對(duì)其如何運(yùn)作一無(wú)所知，甚至不知道其輸入、輸出了什么。波音737-MAX8的MCAS系統(tǒng)高度智能化，卻沒(méi)有安裝MCAS啟動(dòng)顯示裝置，更不用說(shuō)相關(guān)傳感器錯(cuò)誤診斷和報(bào)警裝置，一旦發(fā)生故障，飛行員都找不到故障的原因，更不能從輸入、輸出數(shù)據(jù)中找到問(wèn)題的根源并消除。在事故發(fā)生后，波音公司才準(zhǔn)備將MCAS顯示器作為標(biāo)配安裝。在人工智能系統(tǒng)中，你“不知道自己不知道什么”的窘境既會(huì)出現(xiàn)在設(shè)計(jì)者身上更會(huì)大大出現(xiàn)在使用者身上。雖然我們不追求也不可能把所有未知情況一網(wǎng)打盡，但一個(gè)成熟的智能輔助系統(tǒng)應(yīng)該從大量輸入的數(shù)據(jù)中告訴人類(lèi)，現(xiàn)執(zhí)行的輸出結(jié)果其最可能的原因指向的是哪一類(lèi)的輸入數(shù)據(jù)，也許做不到準(zhǔn)確，但最起碼能夠提供操作者進(jìn)行自主思維判斷的一些基本理論依據(jù)，不至使其迷失于大數(shù)據(jù)的洪流中。

（二）缺少故障容錯(cuò)設(shè)計(jì)

在現(xiàn)代科技中，從安全上考慮，很多硬件設(shè)備即便損壞了，但都會(huì)有相應(yīng)的備用措施。如民航客機(jī)，不像單發(fā)戰(zhàn)斗機(jī)那樣，發(fā)動(dòng)機(jī)損壞其人員可以跳傘逃生。客機(jī)載客如此眾多，就必然設(shè)計(jì)至少2個(gè)發(fā)動(dòng)機(jī)，即使一個(gè)發(fā)動(dòng)機(jī)空中停車(chē)，也能夠通過(guò)調(diào)整方向舵和飛行姿態(tài)的方式來(lái)保證飛機(jī)就近安全著陸。硬件的容錯(cuò)度都這么高，但波音MCAS系統(tǒng)軟件，卻僅憑一處的錯(cuò)誤，就判了整個(gè)硬件的死刑，這樣的智能化設(shè)計(jì)是不是舍本逐末？隨著人工智能技術(shù)的日益復(fù)雜，不可避免的會(huì)有很多潛在的技術(shù)漏洞尚未發(fā)現(xiàn)。這就要求在研發(fā)和生產(chǎn)過(guò)程中，要提前做好備份和保險(xiǎn)措施，避免緊急情況下人工智能的失控。

（三）強(qiáng)人工智能的時(shí)代遠(yuǎn)未到來(lái)

強(qiáng)人工智能是指能夠勝任人類(lèi)所有工作的人工智能。乘坐過(guò)飛機(jī)的人應(yīng)該都有體會(huì)，類(lèi)似于失事波音737-MAX8連續(xù)過(guò)山車(chē)式的爬升和俯沖行為，人肯定能感覺(jué)到強(qiáng)烈的不適感。但作為飛行輔助系統(tǒng)的MCAS卻依然能做出錯(cuò)誤的判斷，并由自己不斷強(qiáng)化這個(gè)錯(cuò)誤。由此可見(jiàn)現(xiàn)有的人工智能在抽象學(xué)習(xí)上仍難以突破瓶頸。也就是目前來(lái)說(shuō)我們很多機(jī)器上的傳感器乃至系統(tǒng)都是專(zhuān)用式的，通過(guò)收集特定的數(shù)據(jù)而形成深層次的判斷，就比如MCAS系統(tǒng)通過(guò)收集飛機(jī)的飛行角度，而判斷飛機(jī)是否會(huì)因迎角過(guò)大而失速。但還遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到人工智能的無(wú)監(jiān)督學(xué)習(xí)或者半監(jiān)督學(xué)習(xí)能力，不能通過(guò)組合沒(méi)有標(biāo)簽（特征）或者僅有部分標(biāo)簽（特征）的底層特征，來(lái)發(fā)現(xiàn)事物的內(nèi)在規(guī)律，進(jìn)而形成更加抽象的高層次判斷。如果飛機(jī)不僅能從飛行姿態(tài)，還能從飛機(jī)的高度、加速度、飛行階段；飛行員的奮力抗?fàn)帲簧踔脸丝腕@恐的尖叫等信息中判斷出飛機(jī)即將墜毀的狀態(tài)，那么這樣的事故是很容易避免的。只有人工智能的深度學(xué)習(xí)能力發(fā)展到能夠在飛行全程做到自動(dòng)駕駛，并且能夠根據(jù)各種意外因素選擇最優(yōu)的飛行方式，才能夠說(shuō)強(qiáng)人工智能時(shí)代已經(jīng)到來(lái)。

避免人工智能引發(fā)安全問(wèn)題的思考

（一）使用系統(tǒng)工程的方法提高整體安全性

資料圖片

系統(tǒng)工程是“兩彈元?jiǎng)住卞X(qián)學(xué)森晚年重要的理論建樹(shù)，其本質(zhì)是研究局部和局部、局部和整體間相互聯(lián)系、相互制約的關(guān)系，是運(yùn)用各種組織、管理和技術(shù)，使系統(tǒng)的整體與局部之間的關(guān)系協(xié)調(diào)并相互配合，以實(shí)現(xiàn)總體的最優(yōu)運(yùn)行。從系統(tǒng)工程的角度出發(fā)，飛機(jī)的安全性是就整體而言的，系統(tǒng)中99.9%的部分是安全的，并不代表飛機(jī)是安全的；同樣，系統(tǒng)中每一個(gè)部分都有99.9%的可靠性，也不代表整個(gè)系統(tǒng)是安全的。波音737-MAX8雖然是一款“明星”機(jī)型，但其MCAS系統(tǒng)引起的墜毀，即因?yàn)閱吸c(diǎn)的故障而影響整體的安全，充分說(shuō)明其在系統(tǒng)設(shè)計(jì)上有嚴(yán)重的漏洞。系統(tǒng)的任意一部分和任意另一部分，都相互關(guān)聯(lián)，相互影響，相互制約。出現(xiàn)了錯(cuò)誤，而各系統(tǒng)只讓其互相關(guān)聯(lián)更加放大，而不考慮其互相制約，通過(guò)綜合其他方面數(shù)據(jù)來(lái)降低報(bào)錯(cuò)率，這無(wú)疑是系統(tǒng)設(shè)計(jì)上應(yīng)當(dāng)警醒的。這些就需要從系統(tǒng)工程的角度出發(fā)，從設(shè)備功能安全、環(huán)境適應(yīng)性檢測(cè)到故障時(shí)的行為等方面進(jìn)行綜合考量，以避免可能導(dǎo)致系統(tǒng)性失效的錯(cuò)誤和故障。

（二）實(shí)現(xiàn)強(qiáng)人工智能的機(jī)器學(xué)習(xí)

2017年虛擬機(jī)器人“微軟小冰”學(xué)習(xí)了自1920年以來(lái)中國(guó)近現(xiàn)代詩(shī)人的數(shù)萬(wàn)首詩(shī)歌，而出版了現(xiàn)代詩(shī)集《陽(yáng)光失了玻璃窗》，這是機(jī)器學(xué)習(xí)的一個(gè)成功范例。機(jī)器學(xué)習(xí)是研究一個(gè)系統(tǒng)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，重新組織已有知識(shí)結(jié)構(gòu)以不斷改善或獲取新的知識(shí)或技能，從而提高自身性能的能力。但是其未來(lái)前景還不僅在于從大量正確的例子中學(xué)習(xí)進(jìn)而模仿，允許機(jī)器犯錯(cuò)，并使其自己能糾正錯(cuò)誤也許才是最重要的。獅航飛機(jī)空難前，其帶著攻角傳感器問(wèn)題故障飛行了4次之多，事故前一天還出現(xiàn)過(guò)機(jī)頭持續(xù)下壓的危險(xiǎn)狀況，直到飛行員關(guān)閉MCAS才安全降落。如果每一次飛行不僅能使飛機(jī)的操作系統(tǒng)能夠從摻雜著正確和錯(cuò)誤的指令中形成正確起降的流程，還能從每一次正確指令糾正錯(cuò)誤指令的行為中學(xué)習(xí)到如何排除故障，即自動(dòng)對(duì)產(chǎn)生故障的系統(tǒng)進(jìn)行修復(fù)、屏蔽，哪怕僅僅只是報(bào)錯(cuò)，都能避免這樣慘劇的發(fā)生。就像人不可能不犯錯(cuò)一樣，如果機(jī)器雖然犯了錯(cuò)，但卻能夠比人類(lèi)更迅速的判斷并糾正自己的錯(cuò)誤，這才是機(jī)器學(xué)習(xí)中跨越性的一步。屆時(shí)，這個(gè)“會(huì)犯錯(cuò)的機(jī)器”才可能是真正的強(qiáng)人工智能，即真正能推理和解決問(wèn)題的智能機(jī)器。這樣的機(jī)器將被認(rèn)為是有知覺(jué)的、有自我意識(shí)的，可以獨(dú)立思考問(wèn)題并制定解決問(wèn)題的最優(yōu)方案。

（三）給人類(lèi)以最終裁量權(quán)

日本2007年出臺(tái)的《下一代機(jī)器人安全問(wèn)題指導(dǎo)方針（草案）》，要求所有機(jī)器人在幫助人類(lèi)的時(shí)候，要提前告知其行為可能的負(fù)面效果，讓人類(lèi)來(lái)決定是否執(zhí)行。雖然在波音墜機(jī)事故中的MCAS系統(tǒng)，還沒(méi)有強(qiáng)大到能判斷它當(dāng)時(shí)的錯(cuò)誤“行為”能導(dǎo)致墜機(jī)，更不用說(shuō)在墜機(jī)前將飛機(jī)的控制權(quán)主動(dòng)交給飛行員。但如果人工智能發(fā)展到了強(qiáng)人工智能階段，那就意味著人類(lèi)能干的腦力活動(dòng)，機(jī)器都能勝任，其可以像人類(lèi)一樣獨(dú)立思考和決策，甚至有自己的價(jià)值觀和世界觀，即實(shí)現(xiàn)人類(lèi)的“自由意志”和“個(gè)性”，某種意義上說(shuō)，這誕生了一種新的文明。此時(shí)，如將人類(lèi)的安全完全交給可能與我們意志有沖突的“自由意志”的機(jī)器，由其進(jìn)行判斷和決定，那將是危險(xiǎn)和不負(fù)責(zé)任的。在智能系統(tǒng)做出最終決定前征詢(xún)?nèi)说囊庖?jiàn)，或者人保留在緊急時(shí)刻斷開(kāi)人工智能而進(jìn)行手工操作的權(quán)利，是安全的最后一道防線(xiàn)。人工智能與納米技術(shù)和基因工程一起被并稱(chēng)為21世紀(jì)三大尖端技術(shù)，它無(wú)疑給我們打開(kāi)了一扇通往絢麗未來(lái)的大門(mén)，但如果不加節(jié)制，誰(shuí)又能保證打開(kāi)的不是潘多拉魔盒呢？而受節(jié)制了的人工智能，又是真正意義上的“智能”嗎？霍金說(shuō)過(guò)，強(qiáng)大人工智能的崛起，要么是人類(lèi)歷史上最好的事，要么是最糟的，其本身是一種存在問(wèn)題的趨勢(shì)，而這些問(wèn)題必須在現(xiàn)在和將來(lái)得到解決。

綜上所述，埃塞航和獅航空難是巨大的悲劇，悲劇背后要求我們對(duì)人工智能技術(shù)心存敬畏。只有積極發(fā)揮其優(yōu)勢(shì)的一面，同時(shí)深刻認(rèn)識(shí)其潛在隱患，從而大力提高人工智能的安全性，才更有利于促進(jìn)科技的進(jìn)步和時(shí)代的發(fā)展！