數字時代背景下的算法歧視及其規制

楊永興

（北京郵電大學 互聯網治理與法律研究中心，北京 100876）

作為信息技術領域的開創性技術，算法對人類社會的發展與變遷產生了深遠影響。以數據為驅動要素的算法自動化決策正悄無聲息地滲透至政治、司法、執法等領域［1］。人類社會正在經歷一場智能革命，而這場智能革命是建立在算法的基礎上，無論是智慧城市、智能制造、智慧醫療等宏大遠景規劃，還是自動駕駛、智能機器、虛擬現實等前沿應用，抑或是智能購物、智慧出行、智能娛樂等生活日常行為，“智能”的實現都離不開算法。可以說，伴隨著大數據、區塊鏈、元宇宙等互聯網技術的縱深發展和廣泛擴散，人類社會儼然進入了“算法時代”。近兩年，伴隨著行業數字化的轉型，社會經濟發展迎來了數字化時代，萬事萬物正以數據化的形式存在，海量數據的處理遠遠超過人類的計算能力，而算法所具備的超大算力優勢正使其逐漸從人類手中爭奪分配社會資源的權力。在理想狀態下，鑒于技術中立原則，基于算法的自動化決策不僅效率更高，還具有相對客觀公正的優勢。但是囿于算法工程師的主觀偏見、數據偏差、冗余編碼等原因，導致算法技術在實際應用過程中易產生諸如“大數據殺熟”“用戶畫像”所致的推送閉環等算法歧視問題。數字時代背景下，數字經濟的發展離不開算法，而算法歧視所引致的負外部性正消弭社會共同體對該項技術的信任。為推動算法技術的健康發展與良性應用，使其真正為人類所用，本文擬圍繞算法歧視的相關問題，構建起包含技術、法律、倫理等在內的多元規制體系，以期對算法歧視的規制有所裨益。

一、算法歧視的概念確定

對于事物概念的確定，既是認識事物本質的過程，亦是思維形成的過程［2］。算法歧視概念的確定，對于認識算法歧視的本質與形成規制算法歧視的體系性思維來說至關重要。算法歧視的概念確定需要從算法與歧視兩個角度著手。

算法有廣義和狹義之分，狹義角度的算法源于數學和計算機科學領域，其被用來描述解決數學與計算機領域問題的一系列邏輯規則，如數學領域的代數算法、計算幾何算法，計算機領域的決策樹算法、加密算法、排列算法、推送算法等。因此，從這個角度而言，算法則指的是被用來實現某種目標而采取的一系列指令或者步驟的組合。隨著人工智能的縱深發展，算法被廣泛嵌于社會的方方方面。廣義角度的算法泛指在諸多社會科學領域中，用于解決問題，實現預設目標的所有決策過程或程序［3］。現代意義上的算法，來源于計算機科學領域，20世紀英國數學家圖靈提出“圖靈測試”，并運用算法作為“圖靈測試”解決不同問題的程序。

歧視與平等為一組對合概念。我國憲法規定“中華人民共和國公民在法律面前一律平等”，此外《勞動法》《婦女權益保障法》《殘疾人保障法》《未成年人保護法》等法律均規定了禁止歧視條款，再次強調了對公民平等權的保護。但是，我國立法僅設置了原則性的反歧視條款，并未給歧視進行精準的定義。而不同學科對歧視分別有著不同的理解，如倫理學認為，歧視系以侮辱、誹謗等形式為特定個體或者群體貼上貶低、媚俗等標簽，使其產生罪惡感，從而對其實施不公正待遇的行為。法學認為，歧視系基于性別、血緣、種族、教育背景、性取向等特征而對特定群體或個人實施的旨在克減、限制、排除其法律權利的差別處理措施［4］。

綜上所述，筆者認為算法歧視是算法應用者利用算法技術實施的，通過算法決策的形式對特定主體或者群體實施不公正待遇的行為。

二、算法歧視的類型

傳統反歧視理論從結果導向主義出發將歧視劃分為直接歧視與間接歧視。然而對算法歧視的劃分不能簡單地立足于結果導向主義，否則容易影響到系統性規則的建構，因為以深度學習為代表的算法正逐漸脫離人類主體性的控制，漸漸朝著準自主式趨勢發展，甚至出現算法開發者難以預料算法模型建構將發展到何種程度的情形，使得算法歧視的生成原因更加多元、隱蔽且不易被查知，這對以結果為標準劃分算法歧視的行為帶來極大的挑戰。通過對現有文獻研究發現，學界已經有不少學者開始對算法歧視進行類型劃分。如有學者以時間和社會因素為標準，將算法偏見劃分為先行算法偏見、技術算法偏見和浮現算法偏見三種類型［5］。該劃分類型對算法歧視的類型界分具有一定的借鑒意義，但是偏見與歧視不可同日而語，偏見不一定就會導致歧視性后果的發生，比如算法工程師僅僅將某偏見性觀念停留在想象階段，并未將內隱偏見內嵌于算法研發中，則一般不會因為人類的內隱偏見而形成歧視性結果。筆者根據算法的社會屬性，結合算法歧視的生成機理將算法歧視劃分為以下幾種類型。

（一）鏡像同構型算法歧視

歧視本身并非是算法社會的特有產物。從人類社會誕生的那一刻起，社會便處處充斥著歧視現象。不同群體之間的歧視均源于人類社會的分工。社會分工的不同導致不同群體之間的政治經濟地位的不平等，經過歲月的累積，不同群體之間的政治經濟地位的不平等會形成思想上的刻板印象、認知偏見等，處于較高政治地位的群體持著明顯的優越感，對政治地位較低的群體秉著鄙夷、否定的態度，進而對其實施排除、限制、剝奪其基本權利的歧視行為。鏡像同構型算法歧視是指人類社會中現存的各種認知偏見、社會分工所致的結構性不平等等現象被嵌入算法的設計、研發、應用中，通過直接或者間接的方式將人類社會中既存的歧視現象加以復現的算法歧視類型。鏡像同構型算法歧視項下包含直接復現型與間接復現型兩個子類別。

美國亞馬遜公司曾經在開發智能招聘簡歷篩選系統時，并未將女性、女子院校等涉及敏感字眼的性別參數予以剔除，導致篩選系統對女性簡歷打低分的算法性別歧視即是直接復現型［6］。因為這種算法歧視與社會中現存的性別偏見、認知偏差、刻板印象具有高度關聯性，通過算法工程師的偏見設計、機器自我學習等方式將社會現存的歧視性思想內嵌到依據算法實施的決策過程中。

間接復現型是指算法模型表面上在設計時將性別、種族、年齡、宗教信仰、性取向等敏感參數予以剔除，但卻輔之以替代性參數或者偽中立參數將之作為實施算法決策的依據，進而間接地將傳統歧視現象加以復現的歧視類型。電商巨頭亞馬遜幾年前在美國各大城市開通“當日送達”服務，只要會員在亞馬遜平臺下單，平臺內超百萬種商品在當日內可以免費送達。然而不久后，有媒體記者發現，美國一些城市如紐約、華盛頓、芝加哥等黑人聚居的社區被排除在“當日送達”的服務范圍內。這一事件被曝光后，亞馬遜方回應，其從未將種族因素作為是否提供“當日送達”服務的參考因素。很顯然，盡管亞馬遜在開發“當日送達”服務算法模型時將種族這類敏感參數予以剔除，但是其輔之以郵政編碼、當地會員數量、犯罪率等偽中立的替代性參數，用以計算“當日送達”的服務范圍，同樣達到歧視黑人的效果，使得種族歧視通過間接的方式在算法系統中加以復現［7］119。

（二）加劇型算法歧視

人類通過日漸智能化的算法程序，在模擬大腦思維的道路上不斷探索，在表現出類人性的同時，也呈現并加劇人類的固有缺陷—偏見。當今，人類已經步入算法社會，算法被廣泛地應用于電子商務、新聞推送、搜索引擎、智慧醫療、智慧城市、餐飲外賣、信用貸款等各個場景之中，但同時也導致公民在算法應用的不同場景下頻繁地遭遇不公的算法對待。在此背景之下便產生了加劇型算法歧視，加劇型算法歧視分為針對個體的加劇型算法歧視與針對群體的加劇型算法歧視兩個子類別。具體是指某個體或群體被同一決策者于不同算法決策場景下頻繁地實施不公平的歧視對待、某個體或群體在同一算法決策場景下遭遇不同決策者的不公平的歧視對待，以及個體或群體在不同算法決策場景下被不同決策者分別實施不公平的歧視對待［7］120。

（三）新增型算法歧視

新增型算法歧視意味著算法在決策的過程中將新的偏見予以外化，主要存在于深度學習算法的應用場景中。深度學習算法通過數據的自我抓取完成數據的自我訓練，并通過參數的自我選擇完成模型的自我建構，從而實現算法的自組織過程［8］。算法對于普羅大眾而言，本身就是一個“黑箱”，而深度學習算法的準自主運行趨勢，讓身為初代算法開發者的算法工程師也很難掌握算法模型自我建構可以到何種程度，自我抓取數據的標準是什么，這就使得日益復雜的深度學習算法在運行過程中產生了諸多難以預料的新的歧視性結果。

三、算法歧視的原因

（一）算法工程師的主觀偏見

算法作為人機交互的產物，很難克服由于算法工程師的主觀偏見所導致的算法歧視問題。因為由于所受教育、所處環境等因素影響，不同主體對同一事物存有不同的態度。久而久之，基于個人主觀心理對某個事物或者物體形成一種概括固定的看法，忽視個體之間的差異。如果算法工程師在開發算法原始模型之始時，將帶有主觀意愿的偏見性思想內嵌至算法編碼中，就不可避免地導致算法形成歧視性決策。在傳統的線下招聘場景中，曾有很多求職人員因為地域歧視、性別歧視等原因被招聘者拒之門外。而轉移至線上招聘時，如果研發招聘系統的算法工程師將自身對來自某地域的應聘者的主觀偏見嵌于系統時，就會放大這種求職歧視并且使得這種歧視變得更加隱蔽。

（二）數據偏差

算法模型的建構系機器學習的產物，而機器學習更是離不開對原始底層數據材料的聚合。數字社會與人類社會構成一種鏡像關系，數據作為數字社會的載體本身就承載了人類社會的各種道德價值觀，其中不乏一些帶有偏見的價值觀。如果這些帶有偏見價值觀的數據被用作算法的訓練材料加以訓練，基于此生成的算法模型在生成結論時則會還原初始的偏見，繼而產生“偏見進，偏見出”（Bias in，Bias out）的現象。以ChatGPT 等生成式人工智能大模型為例，大模型的研發設計需要大量的數據作為訓練的語料來源，而現階段用于訓練大模型的數據來源于互聯網。互聯網上公開的數據質量良莠不齊，當一些帶有歧視性色彩的數據被搜集起來用于訓練大模型時，就會導致大模型學習到數據中的歧視，從而生成歧視性的結論［9］。

從傳統統計學的角度而言，用于調研所采樣的數據越多，基于此形成的概率結果則可能越精準。在算法模型的建構過程中，如果采集的數據樣本過于集中于某類群體，而忽視其他群體時，那么算法就只能根據被采集的數據樣本提取相關特征作為生成預測性結論的依據，由此便會導致沒有被作為數據采集樣本的群體成為被算法歧視的對象。

（三）冗余編碼

以深度學習算法為例，其在基礎建構的模型基礎上，會不斷地挖掘數據，不斷地完成自我迭代更新，因此其并非嚴格意義地按照算法工程師所轉譯的區分特征進而作出區別對待，相反會將預訓練的數據與自我迭代更新過程中抓取的數據進行雜糅，從而提取相關特征進而作出區分決策。由此會產生將個體或群體本應受到保護的私密性、敏感性的數據與其他可以合法獲得的數據進行編碼關聯性地使用的現象，從而誘發因“冗余編碼”所致的算法歧視［10］。

四、算法歧視的規制

算法歧視引起的危害民眾合法權益的問題已然引起世界多數國家的關注，多數國家陸續出臺相應規范性文件以應對算法歧視的問題。針對算法歧視，歐盟頒布了《歐盟基本權利憲章》《機器人民事法律規則》《通用數據保護條例》等規則，并以《通用數據保護條例》為核心，以“數據保護”為主旨對人工智能算法歧視進行規制。為解決算法歧視問題，紐約在2017年12月發布了《算法問責法案》，要求政府建立算法決策使用問責制。2019 年4 月美國國會引入《2019年算法問責法案》，從用戶角度，防止用戶遭受算法歧視性決策。2021年5月，美國國會針對互聯網平臺的算法問題，提出《算法正義與互聯網平臺透明度法案》，要求平臺規范算法過程，保證用戶特征和個人信息不受歧視。2022年2月美國俄勒岡州民主黨參議員羅恩·懷登（Ron Wyden）、新澤西州民主黨參議員科里·布克（Cory Booker）和紐約州民主黨眾議員伊薇特·克拉克（Yvette Clarke）提出《2022 年算法責任法案》，要求自動化決策系統具有新的透明度以保持可問責［11］。2022 年9 月，美國華盛頓聽證會討論《停止算法歧視法案》，以禁止特定主體在算法決策中使用某些類型的數據，確保消除算法偏見。

目前，我國尚未出臺專門性的算法歧視規范性文件，有關歧視性條款見于《憲法》《勞動法》《婦女權益保障法》等法律文件中，但是其以原則性規定為主，而且算法時代下的算法歧視表現形式多樣且較隱蔽，很難將其納入此類文件的規范范圍內。有鑒于此，我國出臺《個人信息保護法》《互聯網信息服務算法推薦管理規定》《新一代人工智能倫理規范》《關于加強互聯網信息服務算法綜合治理的指導意見》等文件以應對算法的濫用，但是算法歧視的生成邏輯是復雜多樣的，現有規定很難完全應對算法歧視的風險。為此，我國有關算法歧視的規制應當在借鑒域外經驗的同時，立足于我國國情形成具有中國特色的算法歧視的規制路徑。具體而言，可考慮從以下幾個方面著手。

（一）算法歧視的法律規制

近年來學界在規制算法歧視研究中，逐漸形成將推動算法透明作為有效規制算法歧視手段的共識。但是，筆者對此觀點不太贊同。因為算法透明機制的應然層面與實然層面存在很大的差距，其并不能實現預期設想的約束效果。首先，即便將算法公開，公民也很難理解。因為算法系由一連串的邏輯代碼組成，對于不具備算法素養的民眾來講，算法代碼猶如天書。其次，一個算法模型的構建需要企業投入大量的人力、物力、資金等成本，建構算法模型的沉淀成本巨大，而回報周期較長，因此大多數企業將其作為商業秘密予以保護。而一旦將算法公開，將可能誘發競爭者反向破解算法，進而實施不正當競爭行為，產生劣幣驅逐良幣現象，繼而損害企業的商業利益。因此，為平衡算法企業與算法用戶二者之間的利益，推動算法技術創新與算法用戶權利保護，針對算法歧視，筆者主張構建算法審計制度。

放眼全球，目前國際上已有不少國家在立法中多有提及算法審計。如美國紐約立法明文規定雇主在招聘過程中使用算法時，必須進行年度算法歧視審計，否則不可在招聘過程中使用算法進行簡歷評估。但遺憾的是，目前尚未形成一套成體系化的算法審計完備制度。算法審計是指審計主體對被審計者所使用的算法模型、數據，以及算法研發等技術活動的風險、合規進行審計，以此監督算法的正當使用。結合審計學領域的審計實踐經驗，筆者認為一套完備的算法審計制度應由算法審計主體、審計對象、審計方法、審計后果四個要素組成。

關于算法審計主體，可以分為內部算法審計主體與外部算法審計主體。內部算法審計主體主要是指科技企業的內設機構，如法務部或者審計部，或者單獨籌備內設的算法審計部門。他們在企業研發、設計算法時自行對算法開展的監督、評估，以檢測算法系統的部署是否符合各方主體的合理利益期待。外部算法審計主體主要包括監管機構與第三方民間組織兩類主體。由監管機構主導的算法審計主要關注“算法治理”的合法性與正當性。具體而言，監管機構通過現行法律法規、政策、平臺用戶協議對算法研發設計主體進行合規審計，以及圍繞算法公平、算法透明、算法安全等對算法輸出結論進行風險與影響審計［12］。外部算法審計主體中的第三方民間組織類似于傳統審計實務中的會計師事務所，系由具備專業資格和專業資質的算法審計師組成并經批準成立的專門算法審計機構，以接受企業委托或者以監管機關指定的方式對社會中運行的算法開展審計活動。例如美國的奧尼爾風險資訊與算法審計公司（ORCAA）就是一家從事算法審計的第三方民間組織。

算法審計的對象主要聚焦于數據、算法模型、算法的研發與應用過程。在此需要厘定的是，雖然我國《個人信息保護法》第五十四條規定了個人信息的合規審計，但是二者并不能等同視之。原因在于并非所有的算法均需要進行個人信息合規審計，因為有些算法的運行是對非個人信息的處理。此外，《個人信息保護法》第五十四條規定的個人信息合規審計，是審計個人信息處理者處理個人信息是否符合法律法規的規定，其主要關注的是合法性的問題。而算法審計不僅審查算法的合法性而且關注算法的合理性。

在算法審計的實踐中，審計主體可以采取代碼審計、爬蟲審計、非侵入式審計、眾包審計四種審計方法對算法展開具體的審計工作。代碼審計，顧名思義即對構建算法的底層邏輯代碼進行全碼通讀或者通過敏感函數回溯以對算法的輸入和輸出全過程進行審計。但代碼審計涉及算法公司的核心商業秘密、算法專利等問題，多用于算法公司的內部審計，因此外部審計主體很難通過外部審計的方式對算法展開代碼審計。爬蟲審計的做法類似于利用爬蟲技術抓取數據，即審計主體通過API反復訪問平臺的算法，反復更改輸入并對算法輸出結果進行隨意抓取，從而對算法輸出結果展開審計。但是爬蟲審計往往涉及平臺算法的侵權問題，而且諸多平臺均對算法部署了反爬蟲技術裝置，故利用爬蟲審計方法開展算法審計活動對算法審計主體提出了較高的專業技術要求，且其面臨的法律風險也較高。眾包審計，與傳統工作的眾包模式類似，即審計主體通過招聘眾多的用戶對算法進行使用，以足夠多用戶的親身體驗來達到對算法的審計，但是采取此種審計方法會耗費巨大的成本，不太符合經濟效益原則。非侵入式審計類似于傳統審計實踐中的調查、問詢，即審計主體征得平臺用戶的同意，登錄平臺用戶賬戶，查閱用戶與平臺算法之間的交互信息進而對算法進行分析審計。與其他審計方法相比，非侵入式審計的成本較低，且非侵入式審計不涉及爬取平臺算法的侵權等問題，法律風險較低，成本和效益合乎比例，符合比例原則的要求，值得推廣。

算法審計的目的就是通過審查算法應用的合法性與合理性，進而對算法保持可問責。然而，通過算法審計對算法進行問責不可或缺的重要一環即賦予算法審計以法律效果。故筆者認為，當算法審計主體對企業運行算法進行審計時發現存在可能導致算法歧視的風險時，有權要求企業對所選擇的參數、算法決策依據做出陳述并進行修改，如果算法應用者拒不改正則出具否定的審計意見，并將審計結論上報給網信、公安、市場監管等主管部門由其進行處理。

（二）算法歧視的技術規制

20 世紀末，勞倫斯·萊斯格教授指出，有四種力量可以對技術進行規制，它們分別是法律、社會規范、市場以及代碼［13］。算法歧視作為應用算法技術所產生的結果，自然規制算法歧視也需要依賴于技術。在有些場景下，算法之所以會產生算法歧視問題，是因為算法在運行過程中出現了算法漏洞，如果將這些漏洞予以修補則可以在很大程度上避免歧視的發生。在實踐層面上，技術規制也有跡可循，如2023年1月，美國與歐盟簽署“基于公共利益運用人工智能技術的行政協議”。該協議指出，為了加強個人隱私保護，歐美雙方通過運用多種機器學習算法在互相不共享彼此數據集的前提下實現了人工智能聯合模型的構建。為此，應當大力推動反算法歧視技術的研發與應用、擴充數據采集的維度、加強數據清洗等技術手段在規制算法歧視中的應用。

（三）算法歧視的倫理規制

公正作為人們被平等對待的道德期許，是社會共同體長久維系的原因所在。為推動算法歧視的有效規制，必須加強算法歧視的倫理規制，而算法歧視的倫理規制必須重視公正這一倫理道德的作用。具體而言，在算法的研發設計過程中，應當樹立算法公正理念，算法工程師在研發設計算法程序過程中應避免主觀偏見的帶入；人工智能與算法等相關行業協會，應當充分發揮行業協會的作用，積極引導協會會員秉持公正道義信念；執法人員應公正執法，對待任何算法都應做到不偏不倚，發揮模范帶頭作用，推動社會整體形成公道正義意識。

五、結語

擔心人工智能技術的進步可能帶來不公正的歧視性后果，是數字時代計算與數據處理的一個永恒命題。數字時代的號角已然吹響，人工智能算法技術也會不斷地向前迭代發展，未來已來。規制算法歧視將會是人們面臨的一項長期的、前沿的時代課題。如果僅僅依靠法律機制規制算法歧視，可能很難達到最佳的規制效果。為推動人工智能算法技術的創新發展與公民合法權益的保護，一條合乎邏輯的規制路徑在于構建起算法歧視的技術規制、法律規制、倫理規制三位一體的規制路徑。