人工智能：機器歧視及應對之策

曹建峰（騰訊研究院法律研究中心研究員）

人工智能：機器歧視及應對之策

曹建峰（騰訊研究院法律研究中心研究員）

0 引言

算法、大數據以及人工智能等在干涉、在影響人們的現實生活。算法將我們在網絡世界中的各種足跡和活動、上網習慣、購物記錄、GPS位置數據等統統轉變為對我們的評分和各種預測。我們在網絡中的存在日益受到算法左右，我們日益生活在一個打分社會。從信用評分到犯罪風險評分，我們日益生活在由各種打分構建的“算法牢獄”當中，但卻忽視了其中的算法和機器歧視問題。隨著自動化決策系統日益被廣泛應用在教育、就業、信用、貸款、保險、廣告、醫療、治安、刑事司法程序等諸多領域，算法和機器歧視問題變得日益突出。人們希望利用算法和數學為人類社會各種事務和決策工作帶來完全的客觀性，然而，這不過是妄想，無論如何，算法和代碼的設計都是編程人員的主觀判斷和選擇，他們是否可以不偏不倚地將既定的規則和政策原封不動地編寫進程序，這值得懷疑。規則的代碼化所帶來的不透明、不準確、不公平、無法審查等問題，是否可以將道德、倫理、法律等一股腦兒外包給技術，以及如何實現并保障自動化決策的公平性，都是需要認真思考、認真對待的問題。

1 人工智能迎來發展浪潮

過去被動執行命令的計算機正越來越具有自主性和創造性。阿爾法狗、虛擬現實、無人駕駛汽車、機器人作家等諸多新技術和新事物層出不窮。最優秀的算法不但可以通過圖靈測試，而且其創作的詩歌已經可以迷惑人類的審美。面對人工智能創作的十四行詩，連詩歌知識豐富的人類判官也難以判斷究竟出自人類詩人之手，還是人工智能詩人之手。人類與機器之間的分野逐漸變得模糊起來。

2010年以來，在大數據、機器學習以及超級計算機這三個相互加強的因素的推動下，人工智能迎來新一輪發展浪潮，開始突飛猛進，相關創業、投資和并購顯著加強。不甘落后的政府開始出臺國家人工智能戰略。2016年10月，美國和英國雙雙出臺國家人工智能戰略。《美國國家人工智能研發戰略計劃》涵蓋七大方面，包括長期投資AI研究，開發人類-AI協作的有效方式，認知并解決潛在的法律、道德、社會等影響，確保AI系統的可靠性和安全性，為AI開放、共享公共數據和環境，通過標準和基準測量、評估AI技術，更好理解AI的勞動力需求。[1]https://techcrunch.com/2016/10/12/white-house-reports-on-ai-no-skynet/英國政府發布的《機器人學與人工智能》提出了機器人學與自主系統2020戰略，希望成為這一領域的全球領導者，其雄心和野心可見一斑。以色列、印度、歐盟等諸多國家和地區在紛紛跟進。

2 人工智能決策日益流行

雖然現在依然處在狹窄人工智能（Narrow AI）階段，尚未迎來通用人工智能（General AI）階段，但不妨礙人工智能介入并影響人類社會的各種決策工作。如今，在網絡空間，算法可以決定人們看到什么新聞，收到什么廣告，聽到什么歌曲，人們的網絡存在或者說數字存在（Digital Existence）日益受到算法左右。今日頭條的成功某種程度上是算法的勝利。當然，人工智能決策的價值不僅限于解決信息大爆炸和信息過載的個性化內容推薦，從購物推薦到精準廣告，從信用評估到犯罪風險評估，越來越多的決策工作為機器、算法和人工智能所取代。當利用人工智能對犯罪人的犯罪風險進行評估，算法可以影響其刑罰；當自動駕駛汽車面對道德抉擇的兩難困境時，算法可以決定犧牲哪一方；當將人工智能應用于武器系統，算法可以決定攻擊目標；諸如此類。由此引發了一個不容忽視的問題：當將本該由人類負擔的決策工作委托給人工智能，機器能否做到不偏不倚？如何確保公平之實現？

3 機器歧視/偏見（Machine Bias）不容忽視

在人工智能決策時代，機器歧視并不鮮見。圖像識別軟件犯過種族主義大錯，比如，谷歌的圖片軟件曾錯將黑人標記為“大猩猩”，[2]http://www.bbc.com/news/technology-33347866Flickr的自動標記系統亦曾錯將黑人的照片標記為“猿猴”或者“動物”。[3]https://www.theguardian.com/technology/2015/may/20/flickr-complaints-offensive-auto-tagging-photos2016年3月23日，微軟公司的人工智能聊天機器人Tay上線。出乎意料的是，Tay一開始和網民聊天，就被“教壞”了，成為了一個集反猶太人、性別歧視、種族歧視等于一身的“不良少女”。于是，上線還不到一天，Tay就被微軟公司給下線了。[4]https://en.wikipedia.org/wiki/Tay_(bot)Tay之所以發布誹謗性的、歧視性的推文，可能主要同其自身不成熟的學習和認知能力有關，但卻暴露了人工智能和機器不能回避的歧視問題。

谷歌的算法歧視問題早已引起人們注意。研究表明，在谷歌搜索中，相比搜索白人的名字，搜索黑人的名字更容易出現暗示具有犯罪歷史的廣告；[5]http://www.bbc.com/news/technology-21322183在谷歌的廣告服務中，男性比女性看到更多高薪招聘廣告，當然，這可能和廣告市場中固有的歧視問題有關，廣告主可能更希望將特定廣告投放給特定人群，比如男性。[6]https://www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study此外，非營利組織ProPublica研究發現，雖然亞馬遜CEO貝索斯宣稱“亞馬遜致力于成為地球上最以消費者為中心的公司”，但亞馬遜網站的購物推薦系統卻一直偏袒其自己以及其合作伙伴的商品，即使其他賣家的商品的價格更低，而且，在購物比價服務中，亞馬遜隱瞞了其自己以及其合作伙伴的商品的運費，導致消費者不能得到一個公正的比價結果。[7]https://www.propublica.org/series/machine-bias

在美國，犯罪風險評估軟件造成了不容忽視的歧視問題。比如，Northpointe公司開發的犯罪風險評估算法COMPAS對犯罪人的再犯風險進行評估，并給出一個再犯風險分數，法官可以據此決定犯罪人所應遭受的刑罰。非營利組織ProPublica研究發現，這一算法系統性地歧視了黑人，白人更多被錯誤地評估為具有低犯罪風險，而黑人被錯誤地評估為具有高犯罪風險的幾率兩倍于白人。通過對7000多名犯罪人的追蹤，ProPublica發現，COMPAS給出的再犯風險分數在預測未來犯罪方面非常不可靠，在被預測為未來會犯暴力犯罪的犯罪人中，僅有20%的犯罪人后來確實再次實施犯罪。綜合來看，這一算法并不比擲硬幣準確多少。

錯誤的、不準確的、不相關的數據可能導致偏見。在計算機科學領域有一句俗語，叫做“垃圾進，垃圾出”。如果將錯誤的、無意義的數據輸入計算機系統，計算機自然也一定會輸出錯誤的、無意義的結果。偏見也可能是機器學習的結果。比如一個甄別錯誤姓名的機器學習模型，如果某個姓氏是極為獨特的，那么包含這個姓氏的姓名為假的概率就很高；但是這可能造成對少數民族的歧視，因為他們的姓氏可能本來就不同于普通的姓氏。當谷歌搜索“學習到”搜索奧巴馬的人希望在日后的搜索中看到更多關于奧巴馬的新聞，搜索羅姆尼的人希望在日后的搜索中看到更少關于奧巴馬的新聞，那也是從機器學習過程中產生的偏見。

4 人工智能決策三大問題：公平、透明性和可責性

4.1 算法默認（by default）是公平（Fairness）的嗎？

長久以來，人們對計算機技術存在一個廣為人知的誤解：算法決策傾向于是公平的，因為數學關乎方程，而非膚色。人類決策受到諸多有意或者無意的偏見以及信息不充分等因素影響，可能影響結果的公正性，比如，一項實證研究表明，法官在餓著肚子時更加嚴厲，傾向于給犯罪人判處更重的刑罰。[8]https://www.scientificamerican.com/article/lunchtime-leniency/所以，現在存在一種利用數學將人類社會事務量化、客觀化的思潮，Fred Benenson將這種對數據的崇拜稱之為數學清洗（Mathwashing），就是說，利用算法、模型、機器學習等數學方法重塑一個更加客觀的現實世界。[9]http://technical.ly/brooklyn/2016/06/08/fred-benenson-mathwashing-facebook-data-worship/

但是，在自動化決策系統越來越流行的今天，有幾個問題需要回答：第一，公平可以量化、形式化嗎？可以被翻譯成操作性的算法嗎？第二，公平被量化為計算問題會帶來風險嗎？第三，如果公平是機器學習和人工智能的目標，誰來決定公平的考量因素？第四，如何讓算法、機器學習和人工智能具有公平理念，自主意識到數據挖掘和處理中的歧視問題？

顯然，算法的好壞取決于所使用的數據的好壞。比如，如果拿一個個體吃的食物來評估其犯罪風險，那必然會得到很荒謬的結果。而且，數據在很多方面常常是不完美的，這使得算法繼承了人類決策者的種種偏見。此外，數據可能僅僅反映出更大的社會范圍內持續存在著的歧視。當然，數據挖掘可能意外發現一些有用的規律，而這些規律其實是關于排斥和不平等的既有模式。不加深思熟慮就依賴算法、數據挖掘等技術可能排斥弱勢群體等參與社會事務。更糟糕的是，歧視在很多情況下都是算法的副產品，是算法的一個難以預料的、無意識的屬性，而非編程人員有意識的選擇，這更增加了識別問題根源或者解釋問題的難度。因此，在自動化決策系統之應用日益廣泛的互聯網時代，人們需要摒棄算法本質上是公平的誤解，考慮如何通過設計確保算法和人工智能系統的公平性，因為很多歧視來源于產品設計（Discrimination by Design）。[10]https://www.propublica.org/article/discrimination-by-design

4.2 作為“黑箱”（Blackbox）的算法的透明化（Transparency）困境

算法的公平性是一個問題，算法的不透明性更是一個問題。人們質疑自動化決策，主要是因為這一系統一般僅僅輸出一個數字，比如信用分數或者犯罪風險分數，而未提供做出這一決策所依據的材料和理由。傳統上，法官在做出判決之前，需要進行充分的說理和論證，這些都是公眾可以審閱的。但是，自動化決策系統并不如此運作，普遍人根本無法理解其算法的原理和機制，因為自動化決策常常是在算法這一“黑箱”中做出的，不透明性問題由此產生。Jenna Burrell在其論文《機器如何“思考”：理解機器學習算法中的不透明性》（How the Machine “Thinks”: UnderstandingOpacity in Machine Learning Algorithms）論述了三種形式的不透明性：因公司商業秘密或者國家秘密而產生的不透明性，因技術文盲而產生的不透明性，以及從機器學習算法的特征以及要求將它們有效適用的測量中產生的不透明性。因此，在需要質疑自動化決策的結果時，比如希望在法庭上挑戰算法決策的合理性或者公平性，如何解釋算法和機器學習就成了一大難題。這種不透明性使得人們很難了解算法的內在工作機制，尤其是對一個不懂計算機技術的外行而言。

4.3 如何向算法問責（Accountability）？

如果人們不滿意政府的行為，可以提起行政訴訟，如果不滿意法官的判決，可以提起上訴，正當程序（Due Process）確保這些決策行為可以得到某種程度的審查。但是，如果人們對算法決策的結果不滿意，是否可以對算法進行司法審查呢？在算法決策盛行的時代，對算法進行審查是極為必要的。但是，需要解決兩個問題。第一，如果算法、模型等可以被直接審查，人們需要審查什么？對于技術文盲而言，審查算法是一件極為困難的事。第二，人們如何判斷算法是否遵守既有的法律政策？第三，在缺乏透明性的情況下，如何對算法進行審查？如前所述，算法的不透明性是一個普遍的問題，因為企業可以對算法主張商業秘密或者私人財產。在這種情況下，對算法進行審查可能是很困難的。此外，從成本-效益分析的角度來看，解密算法從而使之透明化可能需要花費非常大的代價，可能遠遠超出所能獲得的效益。此時，人們只能嘗試對不透明的算法進行審查，但這未必能得到一個公平的結果。

5 構建技術公平規則，通過設計實現公平（Fairness by Design）

人類社會中的法律規則、制度以及司法決策行為受到程序正義（Procedural Justice）和正當程序約束。但是，各種規則比如征信規則、量刑規則、保險規則等正被寫進程序當中，被代碼化。然而，編程人員可能并不知道公平的技術內涵，也缺乏一些必要的技術公平規則指引他們的程序設計。對于諸如行政機構等做出的外在決策行為，人們建立了正當程序予以約束。對于機器做出的秘密決策行為，是否需要受到正當程序約束呢？也許，正如Danielle Keats Citron在其論文《技術正當程序》（Technological Due Process）中所呼吁的那樣，對于關乎個體權益的自動化決策系統、算法和人工智能，考慮到算法和代碼，而非規則，日益決定各種決策工作的結果，人們需要提前構建技術公平規則，通過設計保障公平之實現，并且需要技術正當程序，來加強自動化決策系統中的透明性、可責性以及被寫進代碼中的規則的準確性。而這一切，僅僅依靠技術人員是無法達成的。

在政府層面，為了削弱或者避免機器偏見，美國白宮人工智能報告將“理解并解決人工智能的道德、法律和社會影響”列入國家人工智能戰略，并建議AI從業者和學生都能接受倫理培訓。英國下議院科學技術委員會呼吁成立一個專門的人工智能委員會，對人工智能當前以及未來發展中的社會、倫理和法律影響進行研究。

在行業層面，谷歌作為業界代表，則在機器學習中提出“機會平等”（Equality of Opportunity）這一概念，以避免基于一套敏感屬性的歧視。Matthew Joseph等人在其論文《羅爾斯式的公平之于機器學習》（Rawlsian Fairness for Machine Learning）中基于俄羅斯的“公平的機會平等” （Fair Equality of Opportunity）理論，引入了“歧視指數”（ Discrimination Index）的概念，提出了如何設計“公平的”算法的方法。無論如何，在人工智能日益代替人類進行各種決策的時代，設計出驗證、證實、知情同意、透明性、可責性、救濟、責任等方面的機制，對于削弱或者避免機器歧視、確保公平正義，是至關重要的。