人工智能倫理體系：基礎架構與關鍵問題

陳小平

（中國科學技術大學 計算機學院，安徽 合肥 230026）

隨著人工智能第三次浪潮帶來的重要進展，人工智能倫理挑戰已成為當前國內外普遍關注的一個焦點，一些組織和機構開展了相關議題的研討，發布了一批人工智能倫理準則的建議。中國人工智能學會對人工智能倫理問題高度重視，于2018年年中開始組建人工智能倫理專委會。在2019全球人工智能技術大會上，5月26日舉行了“全球視野下的人工智能倫理”論壇，在國際上首次提出了人工智能倫理體系規劃問題，這意味著人工智能倫理建設開始進入第三階段，而人工智能倫理體系的關鍵問題研究提上了議事日程。正如中國人工智能學會理事長李德毅院士在論壇致辭中指出的那樣，本次論壇具有里程碑意義。

1 人工智能倫理建設：從倫理準則到倫理體系

人工智能倫理建設已經歷了兩個階段。第一階段是人工智能倫理必要性的討論，從專業角度說，耶魯大學Wendell Wallach等美國學者起了帶頭作用，在國際上引起了普遍重視；從更廣泛的背景看，尤瓦爾·赫拉利的《人類簡史》發揮了重要的推動作用。第二階段是人工智能倫理準則的討論，歐盟走在前面，中國和其他一些國家也積極參與其中。

在第二階段，歐盟人工智能倫理高級專家組提出了人工智能倫理的7條準則[1]，包括：確保人的能動性和監督性、保證技術穩健性和安全性、加強隱私和數據管理、保證透明度、維持人工智能系統使用的多樣性、非歧視性和公平性、增強社會福祉、加強問責制。我國清華大學人工智能與安全項目組提出了6條準則[2]：福祉原則、安全原則、共享原則、和平原則、法治原則、合作原則。據不完全統計[3-15]，迄今已有40多個機構或組織提出了各自的人工智能倫理準則建議?？傮w上看，所有這些準則建議是基本一致的。

因此本文認為，人工智能倫理準則討論階段已達成共識而基本結束了。在這些共識的基礎上，人工智能倫理建設需要進入第三階段，即人工智能倫理體系的討論。

那么，“人工智能倫理體系”與“人工智能倫理準則”有什么不同？展開人工智能倫理體系的討論有什么必要性和緊迫性？我認為，以下4個關鍵問題，是倫理準則無法回答，人工智能倫理體系建設無法回避的。不解決這些問題，就不可能建立完整、有效的人工智能倫理體系。

第一，人工智能倫理體系的運作機制問題。任何倫理準則都不可能自我執行，都必須借助于倫理體系中的一系列相互配合的運作機制才能得到落實。這就如同法律條文制定得再好，也不可能自我執行，必須在完整的法制體系中才可以得到落實，而法制體系是由立法、司法、執法等機制組成的。沒有完整的法制體系的支撐，必然出現有法不依的問題。當然，倫理體系與法制體系是十分不同的，不可能完全照抄法制體系的“模板”，所以必須開展人工智能倫理體系的討論，尤其是運作機制的討論。

第二，人工智能倫理準則的場景落地問題。已經提出的人工智能倫理準則，大部分屬于反映普世價值的原則。當把這些準則應用于具體的實際場景，就需要細化為可操作的具體規定，否則必然停留在口號的層面上無法落地。例如，無人駕駛可以有兩種本質不同的應用場景。一種是完全無人駕駛交通系統，這種交通系統中只有無人駕駛汽車，沒有有人駕駛汽車，行人必須嚴格遵守與普通道路交通完全不同的規則。另一種應用場景是混合交通系統，其中無人駕駛汽車和有人駕駛汽車同時存在，行人遵守普通道路交通規則。這兩種交通系統雖然都是無人駕駛的應用場景，它們所面臨的技術和倫理風險卻是非常不同的。在混合交通系統中，人工智能技術面臨著難度和復雜度更大的挑戰，而其中大部分最難的挑戰在無人駕駛交通系統中是不存在的。因此，在人工智能倫理體系中，需要為兩種交通系統制定非常不同的監管規定，即使這兩種交通系統符合相同的人工智能倫理準則。

第三，人工智能倫理風險的預測判別問題。世界上所有民航局都規定了禁帶物品清單，同時強制實行登機安檢，以檢測乘客和乘務人員是否攜帶了禁帶物品。在人工智能倫理體系中，也需要有對應于“禁帶物品清單”的某種“違禁物清單”，以便有針對性地進行風險監督和管控。顯然，人工智能倫理準則只是一些原則，并不包含人工智能的“違禁物清單”，比如“安全原則”不可能具體指出哪些人工智能技術是不安全的，“公平性原則”不可能具體指出哪些人工智能技術是不公平的。同時，人工智能處于不斷發展之中，不可能一勞永逸地列出完整的“違禁物清單”。所以，只能在人工智能倫理體系中建立某種常態化機制，該機制能夠預測、判別任何一項人工智能技術有什么風險、風險多大、是否應該禁用等等。這種機制過去并不存在，這是人類面臨的一個全新課題。

第四，重大社會問題綜合創新的動力機制問題。倫理學的基本落腳點圍繞著“正確的和錯誤的行為”[16-17]；也就是說，倫理并非只關心“不做錯事”，也關心“要做好事”?？墒窃谄袢斯ぶ悄軅惱淼挠懻撝?，防范風險的一面得到了普遍重視和廣泛討論，而推動社會進步和經濟發展的一面卻沒有受到足夠重視，這已成為人工智能倫理體系建設的最大短板。有一種觀點認為，推動經濟發展、社會進步的問題，應該并且已經由人工智能研究和產業化承擔了，無需人工智能倫理的介入。這種觀點是不符合當今社會現實和未來發展態勢的。例如，根據民政部等部門的統計，中國有2.5億個家庭需要家政服務，而現有家政服務人員不到1700萬。根據中國老齡辦2016年調查，中國失能和半失能老人總數已達4000萬，而且每年增加800萬。類似問題在發達國家也不同程度地存在著。目前，這些問題難以找到有效的解決辦法，因為現存科技和產業創新（innovation）的主要動力機制是商業化，而商業化機制應對老齡化等社會問題的效力是嚴重不足的，未來這種情況將越來越嚴重。因此，有必要在商業化機制之外，增加一種新型的綜合創新機制，即借助于人工智能技術的倫理性創新。

2 人工智能倫理體系的基礎架構

人工智能倫理體系的一種基礎架構如圖1所示。這個架構并不包含人工智能倫理體系的全部內容，而是重點回答上面指出的4個關鍵問題。

圖 1 人工智能倫理機制構架Fig. 1 A dynamics frameword of the AI ethics system

按照流行觀點，人工智能創新生態包含3個主要環節，即“社會需求”“研究”與“應用”，它們形成一個循環演進的閉環，即需求推動研究，成熟的研究成果經過商業化途徑實現實際應用，而實際應用又可引發新的需求。這個閉環正是人工智能倫理體系的作用對象，而人工智能倫理體系建立之后，整個人工智能生態的構成和運作機制也將大大改變和升級。

人工智能倫理通過3個層次發揮作用：上層為人工智能倫理的基本使命；中層為人工智能倫理準則；下層為針對具體應用場景的可操作的監督治理規定。

在圖1所示的人工智能倫理體系基礎架構中，我們將人工智能倫理的基本使命定義為“為增進人類福祉和萬物和諧共存提供倫理支撐”。這個使命本身也是一條倫理準則，但相對于其他準則，它的價值具有更大的普遍性和穩定性，它的內涵概括了其他倫理準則的內涵，而其他倫理準則未必能概括基本使命的內涵。因此，基本使命可用于指導人工智能研究與應用，以及中層倫理準則的制定、改進和完善，而其他倫理準則未必可以或未必需要用來指導倫理性研究。另外，人工智能倫理性研究不太可能改變基本使命的內涵，卻可以影響和改變其他倫理準則的內涵?？傊?，人工智能倫理的基本使命可以視為“倫理準則的準則”，也就是人工智能的基本價值觀。

中層的倫理準則即在人工智能倫理建設第二階段中達成共識的那些價值原則。這些倫理準則是基本使命的具體體現，并為實施細則的制定和科技研究實踐提供引導。

為了將倫理準則落實到一個個具體的應用場景中，需要制定針對性、強制性、可操作的實施細則，即一套完整的監督治理規定。每一個應用場景都由一套對應的規定加以約束，不同的應用場景可以有不同的規定。針對一個具體的應用場景，一套規定往往包含下列多方面的具體要求和規范：產品標準（企業標準）、技術標準（團體標準/國家標準/國際標準）、行規、產業政策、法規等。這些不同方面的規定是由不同的機構制定和監管的，包括企業、標準化組織、行業組織、政府部門和法制機構，這些規定之間存在復雜的相互關系。例如，企業制定的產品標準的指標不得低于標準化組織制定的技術標準的指標。產品標準和技術標準是針對一類具體產品或服務的，而行規和產業政策是針對整個行業的，所以它們是互補的。法規是從法律層次做出的規定，具有最高的強制性和權威性，通常不是針對特定產品和服務的，甚至可以不針對具體行業。

從作為倫理實施細則的規定的構成可以看出，人工智能倫理建設不可能由某一領域的專家完成，而是必須涉及一系列相關方，從企業、大學和科研機構、標準化組織、行業組織、政府機構到法律部門，需要所有這些相關方的相互協調和共同努力。在相關方的協調中，不僅需要遵守共同的倫理準則，而且需要遵守倫理體系基礎架構對各自角色的定位和相互關系的約定。

3 人工智能的風險預測判別機制

實現人工智能倫理基本使命的一項必要前提是確保人工智能的倫理底線，即確保人工智能研究和應用的風險處于可控范圍內。綜合看來，人工智能有以下3種風險。第一，技術誤用：由于人工智能技術不夠成熟、不夠人性化或缺乏足夠的倫理約束等原因，給使用者帶來直接的損害，比如數據隱私問題、安全性問題和公平性問題等。第二，技術失控：即人類失去對人工智能技術的控制而出現嚴重的后果。例如，現在不少人擔心，將來人工智能會全面超過人類的智慧和能力，以至于統治人類。第三，應用失控：人工智能技術在某些行業的普遍應用帶來嚴重的負面社會效果，如導致很多人失業。

目前全球不存在相關機構和充分的研究力量，能夠對這3種風險進行預測和判別。因此，有必要在人工智能創新生態中，增設一種新型研究模式和部門——人工智能倫理性研究，這種研究的一個核心職能是承擔對3種風險的預測和判別，也就是擔任人工智能風險底線的守護者。因此，在未來人工智能創新生態中，“研究”將被劃分為兩個相對獨立的部門，一個是傳統的科技研究/技術性研究部門，一個是倫理性研究部門，它們之間存在相互支持的關系。

人工智能風險預測判別研究與傳統的科技研究之間存在本質區別。技術學科的研究歷來以“潛在應用”為目的，自然科學研究則以“求知”為目的，而人工智能風險預測判別研究的基本職能是依據倫理準則，通過科學手段，探明某項技術的風險及其嚴重性，從而為是否應該禁用該技術提供可靠依據。因此，風險預測判別研究以“潛在禁用”為主要目的。由此可見，建立人工智能倫理研究部門是絕對必要的。在圖1中，有一個從倫理研究到倫理準則、到實施細則、到應用場景再到倫理研究的閉環，這個閉環反映了人工智能倫理研究在整個創新生態中的作用。

針對3種風險，人工智能風險預測判別研究的主要任務及其必要性概述如下。

關于第一種倫理風險，事實上已經在現有人工智能和其他技術的應用中存在著，這種情況的嚴重性被普遍低估了，也沒有受到有效的監督與管控。因此，針對數據隱私、安全性、公平性等倫理問題，亟需加強人工智能和相關技術的倫理體系建設，加強專業隊伍的建設，加強針對具體倫理問題的研究，設置更高標準的相關規定，實行有效的監管和治理，這些應成為當前人工智能倫理研究與治理的重點任務。

第二種風險的近期緊迫性不強，但長期嚴重性絕不可低估。傳統技術都不是自主的，而人工智能可以具有完全自主性。完全自主性意味著，人工智能可以完全獨立于人類而實現現實世界中復雜任務的感知、決策和行動。有分析認為，具有類似于人的自我意識的完全自主的人工智能系統一旦研制出來，就會獨立地自我繁殖和自我進化，并突破任何倫理規范和人類控制[18]。果真如此，允許這樣的人工智能系統被研發出來，就意味著人類將被人工智能統治，也就意味著任何人工智能倫理準則都淪為空談。當然，現有哲學分析還不是充分的科學論證，所以這種可能性尚未得到證實，但有必要認真對待。對于這種風險進行預測和判別，是一項極其艱巨、復雜且無先例的工作，關系到人類長期生存的安全底線。

第三種風險目前沒有嚴重表現，但潛在風險肯定是有的。以工業生產為例，一些勞動密集型產業已經在部分地區普遍出現了“用工難”現象，但這種現象并不是由于人工智能、機器人等新技術的應用引起的，而是由于大量崗位的工作性質已經變成了簡單操作的機械性重復，這種作業是不符合人性的。未來的必然趨勢是，愿意承擔這種工作的人將越來越少，因而對人工智能、機器人技術產業應用的需求將越來越強，于是在一些行業中人工替代率將越來越高。如果無法解決再就業問題，就可能引起應用失控，產生極其嚴重的社會后果。由此可見，對這種風險的預測和判別是極其復雜、極其困難的，需要多學科合作和長期努力。

4 面向重大社會問題的倫理性創新

人工智能的根本價值在于增加人類的福祉。在本文建議的人工智能倫理體系中，這條原則被列為基本使命，而且所有已經提出的倫理建議都包含這條準則。人類福祉的一個集中體現，是幫助解決社會面臨或將來面臨的重大問題，例如：氣候變暖、環境污染、人口老齡化、資源分布不均、經濟發展不均衡、產業少人化等。

這些重大社會問題有三個基本特點：第一，從本性上看，現有商業化機制不適合解決這類問題；第二，目前也不存在其他有效的應對手段；第三，這類問題的解決方案往往不是純技術性的，而是綜合性的，并且人工智能技術可以在其中發揮重要作用。那么，人工智能倫理如何為解決重大社會問題發揮重要作用？目前，對這個問題的研究是整個人工智能倫理建設中最為薄弱、最為欠缺的一環[19]。

本文認為，在人工智能倫理體系中的“倫理性研究”部門，應該包含兩項基本職能。一項是上文提出的“風險預測判別”，另一項是“倫理性創新”。作為一種全新機制，倫理性創新將為重大社會問題的應對提供研究支撐，其主要工作任務如下。

第一，社會變化主客觀數據的采集分析。在科技和產業創新飛速發展的時代，民眾的生活、工作和心理狀態也在快速變化，而且不同群體的主觀感受、教育觀念、就業傾向、消費觀念、生活態度和人機關系認知等等也處于不斷變化之中。目前，社會對這些信息的把握是十分有限的，這種狀況對于社會的健康發展是十分不利的，亟需加以改變。因此，開發相應的人工智能和大數據等技術，及時充分地收集反映這些變化的指標數據，并與傳統的產業和社會統計數據相結合，通過系統性分析得出社會狀況的科學判斷，對于維持社會平穩運行，更加合理地進行政策決策和規劃制定，具有極其重大的現實意義，同時也為更好地應對重大社會問題奠定了必要基礎。

第二，社會發展可能態勢的分析預測。在未來某個時段，完全可能出現大量工作被機器取代、大批工作年齡人口無工可做的情況。這種情況下的社會結構、經濟運行機理和社會發展動力，與當下社會是根本不同的。因此，在應對某些重大社會問題的過程中，未來人類很可能進入一個全新的社會文明階段。為了保證這種社會演化符合人類的根本利益，保證宇宙萬物的和諧共存，人類完全有必要未雨綢繆，而不應被動地隨波逐流。對未來社會發展可能態勢進行分析預測，是社會長期發展規劃的必要基礎。這種分析預測是非常困難的，需要多學科合作，而人工智能技術可以在其中發揮重要作用。

第三，重大社會問題解決方案的創新設計。人類面臨的重大社會問題，往往難以就事論事地得到解決，需要通過綜合性創新找出化解之道[20]。然而面對如此高維復雜的問題，單純依靠人工智能技術和其他相關技術手段，是不可能自動求解的。因此，有必要探索人機合作的求解模式，而人工智能技術可以顯著提升人機合作問題求解的水平和性能。例如，利用人工智能“暴力法”[21]中的“假設推理”方法，可以進行人機合作式問題求解，而且在高維復雜應用場景中已有成功案例，假設推理發現了單純依靠人或機器都無法發現的有效的解決方案。因此，針對重大社會問題，借助人工智能技術，通過人機合作方式，完全可能發現以往無法發現的綜合創新方案。在未來科技和產業革命時代，這將是人工智能倫理體系為人類做出的巨大貢獻。

5 結束語

在人工智能倫理準則達成的基本共識的基礎上，本文提出人工智能倫理體系規劃問題，重點討論解決倫理準則無法解答而倫理體系必須解決的4個關鍵問題——運行機制問題、場景落地問題、風險預測判別問題和發展動力問題，并對這些問題提出了初步解決方案。

人工智能倫理體系的運行機制由它的基礎架構決定，該架構規定了倫理體系的主要部門以及它們之間的相互關系，其中包括場景落地的機制。本文建議，在人工智能創新生態中增設一個新型研究部門——倫理性研究，它有兩項基本職能：人工智能風險預測判別和應對重大社會問題的倫理性創新。根據這些分析和建議，在未來人工智能時代，社會進步和經濟發展將進入“雙輪驅動”模式，以傳統的商業化創新和新設立的倫理性創新作為兩個不同而相互關聯的動力機制。

總之，人工智能倫理建設面臨一系列挑戰，不是將一般倫理學原則、方法和規則具體化到人工智能就可以奏效的。如何建立這樣的人工智能倫理體系，仍需要相關各方緊密合作，進行長期、艱苦的探索。

致謝筆者在與下列學者和專業人士的相關交流中受益良多：李德毅院士、趙汀陽、陳嘉映、王蓉蓉、宋曉剛、郝玉成、于劍、王衛寧、潘天佑、秦宇、Jeroen van den Hoven、Wendell Wallach、劉曉力、蘇彥捷、孫周興、王國豫、宋冰、劉哲、梁正、Steve Angle。