弱人工智能操作系統在民航運輸中的應用風險及規制路徑建議

□ 南京航空航天大學 于文薇/文

事后，根據埃塞俄比亞航空難調查報告和波音公司的陳述，兩架客機墜毀前都出現特定傳感器讀數錯誤、客機飛行姿態矯正系統“錯誤啟動”。短短幾小時內飛機連續出現上升和下降兩種姿態，飛行員多次執行了飛機制造商提供的所有程序，但依然失去了對飛機的控制，最終導致災難發生。

應用于民航運輸的弱人工智能操作系統的法律特征——MCAS系統為例

有研究將人工智能技術大體分為三類，分別是弱人工智能、強人工智能以及超人工智能。弱人工智能，也稱狹隘人工智能，是指只能夠完成某一項特定任務或者解決某一特定問題的人工智能，如Alphago圍棋機器人；強人工智能又被稱為通用人工智能，指的是一種類似于人類的人工智能，具有自我意識，可以獨立思考判斷并解決問題。超人工智能則是指在各方面能力都遠遠強于人類的一種智能。

強弱人工智能存在極大的技術差異，它們之間的分水嶺正是是否具有類人的自我意識、獨立思考以及判斷能力。

波音737 MAX8裝備的MCAS系統是針對航空領域而研發用來解決飛機失速問題的具有優勢性的工作系統。該系統具有智能性和自動型，可以在檢測機頭屬于上翹時，迫使機頭下壓。該系統在正常飛行時不會啟動，只有在飛機遇到某種特定狀態時候，才會自動啟動。系統的啟動與飛行員操作完全獨立，既不需要借助任何飛行員的幫助，也不會對飛行員進行明顯提示。

簡單而言，MCAS系統是一種輔助飛行員工作的工具，與電話、電腦這些傳統觀念上的工具沒有本質區別。從特征上來說，都是“物”，不具有思維能力。只是MCAS系統工作效能遠遠超出一般工具，同時具備了大數據模式，可以自我分析辨別可能出現的情況并自動開啟適用。因此MCAS系統是一種典型的弱人工智能程序。

關于弱人工智能的法律主體資格的認定，要比強人工智能的法律主體資格簡單的多。

從法學關系構造的角度將自古以來的法律主體制度構造總結為三種類型：第一種是“家族—家父—主體”，第二種是“自然人—人格—主體”，第三種是“權利能力—主體—行為能力”。其中第三種“權利能力—主體—行為能力”的構造使得法律主體類型擺脫囿于人類的思維框架，擺脫了人格對于主體觀念的屬人暗示，將重點放在意思的表達之上。

從圖上可以看出，20 cm深度土樣的連線比較平緩，明顯表現出較低的異質性，而0～20 cm深度的平均數據(對5 cm和20 cm深度土樣求平均)與GPR數據的平均趨勢更為接近，但又失去了當前點位置的異質性，因而，在本實驗中，地面直達波的測量深度很有可能小于20 cm。而通過對圖3和圖4綜合分析，GPR的總體測量精度約為0.02 cm3/cm3。

作為法律主體資格的權利能力與意志能力相關，特定意志能力是具有主體資格的實質要件。法律主體只有具備獨立思考能力，有實施或不實施權利的意識，以及意識到相關義務和不履行義務的后果的能力，才能調整自身行為，進而承擔法律上的責任。弱人工智能因為技術局限性，其所擁有的其實是在大數據模式下對于數據的應用分析，并不是絕對意義上對于現實狀況的判斷。也就是說，如果出現了不存在于數據庫中的情形，那么該弱人工智能體就面臨癱瘓，不可能出現像人類一樣的深度模仿創造能力，完全獨立的思考能力和判斷能力。因此弱人工智能無法擁有自己獨立的意志能力，自然無法成為法律上的主體。

從角色定位上而言，弱人工智能體的類人性并不明顯，反而是工具性更明顯。它本質上是一種工具，目的只是為了輔助人類生活工作。工具其實是人類雙手的延伸，是人類意志的體現。在考慮人類意志的前提下，再去考慮人工智能體的意志就顯得失去意義了。

因此不能因為弱人工智能體具備了不同于以往任何工具的智能性和自動化，就認為應當賦予其法律資格。只要目前的人工智能體尚未延伸出自我意識，沒有進入強人工智能階段，就擺脫不了工具的角色定位，無法擁有獨立的主體地位。

弱人工智能操作系統在民航運輸中的應用風險

MCAS系統沒有獨立的法律主體資格，因此航空事故的最重要責任承擔主體仍然是波音公司和航空公司。但正因為MCAS系統的弱人工智能性，上述兩起空難事故的原因也不可能單純是因為系統讀數錯誤這種純技術性問題。事故的背后也有人工智能體和自然人意志的銜接和博弈問題。

（一）人工智能技術的不確定性

首先人工智能技術高度依賴于算法準確性，算法準確性基于精確的數據庫。原始數據的錯誤或不完整，數據傳輸過程中被篡改，竊取，攻擊或意外故障以及使用過程算法的漏洞與誤差都會導致算法偏差。飛行過程中哪些因素會導致人工智能系統的錯誤運行，最終又會對飛機造成何種影響，現有研究尚未成熟。

其次人工智能發展軌跡具有不確定性。現代科學技術體系開發復雜，人工智能技術與同樣迅猛發展的互聯網、物聯網、區塊鏈等前沿技術的結合，都能催發出源源不斷的新產業、新應用。現在的人們無法預知民航運輸智能化的終點，甚至難以深刻感知現有智能技術與民航運輸的結合進程，難以預測人工智能技術的潛在新風險。不確定性是現代科學的內在特征，不可能實現對結果的絕對預測把控，只能追求弱化和管控風險。人工智能技術的不確定性時刻警惕著民航業始終秉持必要的謹慎，以謙抑的態度和發展的眼光來對待民航業的發展。

（二）過多的智能化削弱了人的思維能力和認識能力

MCAS系統的智能化之處在于具有自動執行程序，但它的自動執行程序并不透明。系統啟動時不需要借助飛行員操作，也不對飛行員做任何明顯提示。事后調查顯示波音公司提供的飛行員培訓項目和操作手冊中都未提及此系統。因此，在飛行員以為自己完全控制飛機時，可能MCAS程序正在操作飛機。這樣的人工智能系統實際上在弱化飛行員的認知能力，剝奪飛行員對飛機的掌控權。過于智能化的程序代替了飛行員的一部分預判和操作功能導致了飛行員無法全面的感知事故情況。在MCAS程序運營良好情況時，可能會導致飛行員過度依賴于人工智能，難以儲備對現實狀況的判斷和操作的經驗和能力。而當系統出現問題時，飛行員更是難以從整個操作系統無數精密發達的儀器單元中精確找出危險并且進行排除。

（三）自動系統指令和人類指令的優先性問題

2002年，瑞士境內兩架飛機在同一航線同一高度且相距極近。瑞士蘇黎世空管中心空管員發現這一情況緊急給出控制指令。但這一指令與飛機自動避讓系統自動給出的指令相反，飛行員根據空管指令操縱飛機避讓，最終導致兩機相撞。此次事故后，國際民航組織制定了一條航空管制中的空中緊急避讓規則：當出現空中飛機相撞危險需要緊急避讓時，若人工管制指揮與飛機自動檢測系統指令發生沖突，則服從自動系統。此案例似乎說明：在緊急情況下，自動檢測系統的指令可靠度要優先于人類指令。

而埃塞俄比亞失事航班的事故報告中，可以看出飛行員和MCAS系統僵持了不下30次，最終飛行員失敗了，發生錯誤的系統占據上峰，導致飛機最終失速墜毀。這對于人工智能和人類誰掌握最終決定權提出了巨大挑戰。

人工智能出現的初衷就是希望借助機器的機械化，大數據的全面性，操作的便捷性，環境的適應性等優勢來消除注意力不集中，判斷失誤，操作失誤等人為因素造成的事故。但歸根結底，弱人工智能是工具，對于人類的生活工作起彌補作用。當人工智能和人的行為同時面對災難險風險的情況下，人類不能將最終決定權無條件的交給人工智能機，尤其不能放棄緊急關頭的人類最終決擇權利。

弱人工智能操作系統在民航運輸中安全審查機制的建構

（一）加強對于智能系統的安全檢測必要性

民航大飛機，國之重器。飛機的安全檢測直接影響到飛機的質量和飛行安全，進而關乎著乘客的生命安全和財產安全權。獅航空難和埃塞俄比亞空難的背后都存在安全性評估的嚴重缺乏，波音737MAX8的經驗教訓可以看出，飛機的安全檢測急需建立一套比較完善的安全評價標準和體制機制。政府盲目下放智能系統的檢測權限無法實現有效監管，只可能會導致利益驅動下的市場優先策略而置人類安全于不顧。

（二）完善我國民航運輸安全審查機制的建議

弱人工智能操作系統尚未具備法律人格，所以相關大部分侵權問題仍然可以參照產品責任問題解決。但弱人工智能該操作系統已經初步具備了自動化特點，使其能夠脫離人的控制自主做出判斷，甚至干涉人類命令改變飛行狀態，這使得對于飛機人工智能操作系統的審查和管理有獨特要求。

1.建立人工智能影響事前評估制度

目前我國民用航空器的適航管理由中國民用航空局負責，以《國際民用航空公約》適航指導目標和國內其他更完備的適航規范為標準，審查范圍包括航空器的設計、生產、使用、維修。同時制造商和航空公司內部也會有各種企業規范和行業標準來提高產品質量。一般認為適航審定沒有輕重之分，因為每一步都會造成安全隱患。

因此，操作系統的智能性應該被納入適航審查和質量檢查的事前評估中。通過預測人工智能系統在實際場景中可能出現的故障、失靈、被攻擊等情況，來加設對抗性學習算法或者培訓飛行員的應變能力。

除此以外，因為人工智能技術發展日新月異，很多潛在風險尚不確定，不能一味參照現有經驗技術評估。審查主管部門有必要聯合相關科技公司，科研機構進行前瞻性的風險預估，秉承著早發現、早預防的理念來促進人工智能技術的有序發展。

2.提升飛行員應變風險能力

人工操作是解決人工智能失靈問題的最后防線，因此必須不斷提升飛行員應對風險的應變能力。保障飛行員對于飛機各操作系統全面知情權是防范風險前提。波音737MAX8事故調查報告中就指出飛行員操作手冊中沒有提及MCAS系統自動執行程序，直接剝奪了飛行員對事故的預測能力。因此有必要將飛機的智能操作程序以及最佳操作方法納入操作指南。此外還應建立科學的模擬培訓程序，提高機組人員處理緊急情況的專業能力和素質，對人工智能系統失靈、被攻擊等情況下應對方案能提前熟悉掌握。

3.推進弱人工智能操作系統的技術標準與倫理規范建設

操縱系統的越來越智能化是一個不可阻擋的趨勢，但智能操作和人工操作的優先性問題卻不可避免。1950年阿西莫夫就提出“機器人必須服從人給予它的命令”。微軟提出關于人工智能倫理的六項原則其中也強調“AI必須用來輔助人類”，“AI必須是透明的”。這種預先主動預防默認了人工操作的優先性，能有效平衡人與智能的關系。雖然從算法層面使操作系統能夠自我規制對于現有技術尚難實現，但應當持續引導操作系統制造商在開發時就遵循人類意志優先于人工智能的倫理道德和用戶友好規則。

總之，現代交通業發展以互聯網、物聯網、大數據為基礎，帶來便捷出行體驗的同時也伴隨著新的侵權風險。波音737 MAX8事故正是在向我們警示，我們不應該僅僅將眼光投射于強人工智能對人類社會帶來的威脅，而對弱人工智能體完全放松警惕。在這個弱人工智能開始逐漸盛行的時代，弱人工智能的利用和風險防范需要不斷審視和平衡。

資料圖片