信息系統(tǒng)自動決策機(jī)制中的算法歧視

向 杰

西南科技大學(xué)，四川 綿陽 621000

一、問題的提出

自動化決策在為我們帶來公正、客觀、高效的同時，也伴隨著難以覺察、難以獲知、難以證實(shí)等特點(diǎn)。但由于其本身會帶來的歷史數(shù)據(jù)偏差，以及算法設(shè)計(jì)者本身的主觀性［1］，算法會不可避免地出現(xiàn)歧視性，甚至錯誤的決策。如2008年的B公司“競價排名”事件、2016年的“魏某西事件”，再到2018年的“網(wǎng)約車價格歧視事件”等。信息系統(tǒng)的自動化決策機(jī)制正在通過各種領(lǐng)域，直接或間接地影響著人們的各項(xiàng)基本權(quán)利。

大數(shù)據(jù)時代，自動化決策機(jī)制得到了廣泛的運(yùn)用，但現(xiàn)實(shí)社會的迫切法律需求是：當(dāng)自動化決策機(jī)制作出了錯誤的或歧視性的決定時，處于不利地位的相對人如何獲得有效的救濟(jì)?與之對應(yīng)的是所產(chǎn)生的責(zé)任由誰進(jìn)行承擔(dān)?在利用算法進(jìn)行決策的領(lǐng)域，哪些應(yīng)該得到開放，哪些則應(yīng)該進(jìn)行限制，算法決策的邊界在哪里?在我們對算法進(jìn)行審查的同時，對于企業(yè)的商業(yè)秘密如何進(jìn)行有效的權(quán)衡?

為此，通過法律途徑［2］保證算法自動化決策機(jī)制的合理性、公共性以及正當(dāng)性，減少算法歧視造成的群體極化現(xiàn)象，應(yīng)該成為當(dāng)前法律關(guān)注的焦點(diǎn)問題。在對自動化決策造成的現(xiàn)實(shí)問題進(jìn)行剖析的同時，應(yīng)結(jié)合我國當(dāng)前的法律制度，以及歐美的人工智能治理經(jīng)驗(yàn)，以期在算法歧視的背景下，尋找出應(yīng)對自動化決策機(jī)制的法律途徑。

二、算法歧視的類型性分析

（一）算法歧視的含義

算法一詞，起源于《周髀算經(jīng)》，而Algorithm（算法）則來自于9世紀(jì)的波斯數(shù)學(xué)家alKhwarizmi，由其在數(shù)學(xué)上提出了算法這一概念。算法，指的是為了應(yīng)對解題方案的完整且準(zhǔn)確的描述，是解決問題的一系列指令，即用系統(tǒng)方法解決問題的機(jī)制。算法通常具有五個特性，即：可行性、有窮性、確定性、輸入性和輸出性。而算法通常用來解決結(jié)構(gòu)化問題與非結(jié)構(gòu)化問題，即定義良好的問題與定義不清的問題。

歧視，是由偏見的態(tài)度和認(rèn)識引起的，是指對于偏見目標(biāo)和受害者所采取的否定性的行為表現(xiàn)。其中，由全國人民代表大會常務(wù)委員會所批準(zhǔn)的《1958年消除就業(yè)和職業(yè)歧視公約》的決定第一條表明：歧視是由于個體的身份屬性，表現(xiàn)出來的不合理的評價和主觀的區(qū)分，主要表現(xiàn)為三個要素：不合理對待、造成不良后果以及欠缺法律理由。

算法歧視，是指算法在運(yùn)行過程中所出現(xiàn)的重復(fù)性的、系統(tǒng)性的錯誤，同時基于這些錯誤對某些群體或個體產(chǎn)生了不公平的算法結(jié)果，由此損害其正當(dāng)利益。算法歧視的發(fā)生，在主觀性上既可以表現(xiàn)為無意識也可以表現(xiàn)為有意識，其主體既可以是算法本身，也可以是算法設(shè)計(jì)者或算法使用者，而對于結(jié)果的發(fā)生通常都是難以覺察、難以獲知和難以證實(shí)的。

（二）算法歧視的特征

隨著算法在大數(shù)據(jù)時代的應(yīng)用，算法歧視也發(fā)生了日新月異的變化，而算法歧視本身也被賦予了鮮活的時代特征。

1.算法歧視的隱秘性。隱秘性需要從兩個角度進(jìn)行解讀，一方面，從內(nèi)部特征而言：算法本身具有“黑箱”特性，而它在運(yùn)行過程中所表現(xiàn)出來的“相關(guān)性”難以被社會大眾所理解，所輸出的結(jié)果是無法追溯的，在此過程中算法被理解為一種“黑箱”。從外部角度而言：算法本身所涉及的內(nèi)容，大都為一個公司的商業(yè)秘密，因此算法的使用者往往基于信息程度上的強(qiáng)弱差異，對算法的結(jié)果進(jìn)行掩蓋，而這種掩蓋的結(jié)果往往難以被發(fā)現(xiàn)。

2.算法歧視的復(fù)雜性。算法歧視之所以復(fù)雜，一是基于算法技術(shù)本身的復(fù)雜性，算法是基于底層決策的模型而進(jìn)行運(yùn)作的，同時算法模型可以進(jìn)行“自主學(xué)習(xí)”，隨時間的變化而日趨完善，其復(fù)雜性不言而喻；二是算法的運(yùn)作邏輯在于“人機(jī)互動”，不同類型的數(shù)據(jù)在不同的環(huán)境中，會表現(xiàn)出不同的差異性，而算法最終的結(jié)果增加了算法歧視的復(fù)雜性。

3.算法歧視的類型性。由于“數(shù)據(jù)池”基數(shù)的龐大，在算法運(yùn)作過程中需要根據(jù)算法的使用目的以及數(shù)據(jù)特征，進(jìn)行有序的數(shù)據(jù)排列，從而對數(shù)據(jù)值進(jìn)一步的賦予權(quán)重比例。于是算法標(biāo)簽與歧視性結(jié)果便產(chǎn)生了關(guān)聯(lián)，而這類算法對特征性的群體則具有類型性的特征。

（三）算法歧視的類型表現(xiàn)

算法歧視根據(jù)是否涉及身份關(guān)系，大致可以分為兩類：身份性歧視與非身份性歧視。前者指的是社會集群的身份屬性［3］，后者指的是不涉及身份屬性的算法歧視。

1.身份性歧視。此種類型劃分下，包括性別歧視與種族歧視。在數(shù)據(jù)化的時代背景中，由于性別觀念以及種族偏見等逐漸演變成了算法的內(nèi)在運(yùn)作機(jī)理［4］，而在數(shù)字化的作用下，其偏見正在不斷地固化與加深。同時由于技術(shù)的“非中立性”，在“黑箱”效應(yīng)的影響下受歧視的群體難以察覺，更難以得到救濟(jì)。

2.非身份性歧視，包括價格歧視與排名歧視等。此種類型的歧視，主要指的是雖然個人不受到身份的影響，但卻仍然遭到了不公平的對待。算法的使用者通過搜集有關(guān)顧客的終端操作系統(tǒng)以及個人喜好等個人資料，通過算法搭建模型，從而實(shí)現(xiàn)對每一位客戶的“精準(zhǔn)營銷”，以及在算法的作用下，利用“算法排名”壁壘，進(jìn)行不正當(dāng)?shù)母偁帲茐氖袌龈偁幹刃颉?/p>

三、算法歧視的法律適用難題

（一）《電子商務(wù)法》適用上的不足

算法歧視作為大數(shù)據(jù)時代的產(chǎn)物，在使用環(huán)境上也屬于線上交易，但在《電子商務(wù)法》中，卻存在適用上的不足，具體而言：

1.《電子商務(wù)法》第十八條對算法做出了針對性措施，但未禁止算法的使用。這樣的做法，雖然使消費(fèi)者的選擇權(quán)得到了保護(hù)，但是并沒有賦予信息主體算法的拒絕權(quán)，算法的使用者以及設(shè)計(jì)者仍然可以通過算法來造成算法歧視這一現(xiàn)象的產(chǎn)生。

2.《電子商務(wù)法》第二十四條規(guī)定了信息主體對于其個人信息的收集使用以及使用方式的決定權(quán)，學(xué)界統(tǒng)稱為“知情—同意權(quán)”［5］。但在實(shí)際的使用過程中，很難得到貫徹落實(shí)。信息的收集使用往往是通過隱私政策的方式進(jìn)行實(shí)現(xiàn)的，但在實(shí)際情況中，用戶往往未實(shí)際閱讀其中的內(nèi)容，便同意了相關(guān)的條款。同時，信息的收集者在信息的搜集過程中也未預(yù)料到信息的全部使用方式，無法切實(shí)完全履行告知義務(wù)。

（二）《消費(fèi)者權(quán)益保護(hù)法》適用上存在爭議

在《消費(fèi)者權(quán)益保護(hù)法》上的爭議，主要是來自于對算法歧視在法律上如何定性的爭議。一方面，經(jīng)營者有義務(wù)向消費(fèi)者表露商品或服務(wù)的價格，但卻在同一情況下以另外的更高或更低的價格，展示給另一消費(fèi)者。

這種價格上的差異，打破了我們對于“同一價格”的傳統(tǒng)認(rèn)知，但這一行為是否違反了法律，還需要進(jìn)一步的解釋。另外一個爭議，則是算法歧視行為是否侵犯了關(guān)于消費(fèi)者的知情權(quán)。這一爭議的關(guān)鍵在于經(jīng)營者是否有義務(wù)向消費(fèi)者提供其他人交易時的價格信息，這一問題在法律上還未做出規(guī)定。

（三）《個人信息保護(hù)法》在實(shí)踐運(yùn)用上的不足

《個人信息保護(hù)法》第二十四條規(guī)定：在自動化決策中，個人信息處理者在利用個人信息時，應(yīng)當(dāng)遵守相應(yīng)的規(guī)則，其設(shè)立目的在于自動化決策的特殊性，在個人享有知情同意權(quán)的同時，個人信息處理者應(yīng)當(dāng)保障個人知情同意權(quán)，以及履行相應(yīng)的法定義務(wù)。但問題的關(guān)鍵在于，當(dāng)算法侵害了個人信息權(quán)益，造成了算法歧視時，在實(shí)踐中應(yīng)當(dāng)如何運(yùn)用《個人信息保護(hù)法》的規(guī)定，保障個人的合法權(quán)益呢？首先，違反《個人信息保護(hù)法》第二十四條關(guān)于透明度與結(jié)果公平合理的要求時，可以直接要求算法使用者承擔(dān)相應(yīng)的責(zé)任。但是，此時仍然存在著一個新的難題，即決策透明度的標(biāo)準(zhǔn)為何，以及如何判斷結(jié)果的公平合理？其次，《個人信息保護(hù)法》第六十九條規(guī)定了信息處理者應(yīng)當(dāng)負(fù)的民事賠償責(zé)任，但值得細(xì)究的是，此條規(guī)定的侵權(quán)損害賠償，是否包括精神損害賠償責(zé)任以及如何認(rèn)定相應(yīng)的數(shù)額呢？同時，我國的《民法典》對侵害個人信息權(quán)益的侵權(quán)責(zé)任適用哪種歸責(zé)原則并沒有進(jìn)行明確。

四、算法歧視的認(rèn)定及其民事責(zé)任

（一）算法歧視的認(rèn)定

進(jìn)入大數(shù)據(jù)時代，數(shù)據(jù)資料的生產(chǎn)為我們帶來了巨大的便利。但是，如若對算法歧視采取一個嚴(yán)格的審查標(biāo)準(zhǔn)，無疑會扼殺掉大數(shù)據(jù)的創(chuàng)新價值。為此，在司法和監(jiān)管的這一層面，建立起對算法歧視的認(rèn)定標(biāo)準(zhǔn)［6］就顯得尤為重要。目前，學(xué)界關(guān)于算法歧視的認(rèn)定標(biāo)準(zhǔn)主要有三大類：

1.在主觀態(tài)度上，著重分析算法歧視這一行為是基于使用者的錯誤感知還是基于使用者的偏好。如果算法的設(shè)計(jì)條件是根據(jù)客戶的不同喜好而設(shè)置的差異化選擇，這種情況下是有利于資源的優(yōu)化配置。反之，歧視的發(fā)生導(dǎo)致了使用者的錯誤感知，這種算法則屬于一種歧視，損害了使用者的利益。

2.在使用環(huán)境上，需要觀察市場的透明度。即算法主體是否知曉或者能否知曉自身受到了歧視，這種情況下更能被認(rèn)定為違法行為。

3.在具體的行為上，需要分析這種具體的算法行為是屬于歧視性算法還是屬于歧視性杠桿［7］。從而判斷算法的使用者或者設(shè)計(jì)者對自身的產(chǎn)品或服務(wù)是否附加了歧視性的算法在其中。

在當(dāng)前的法律中，這一思路能夠一定程度上對算法歧視進(jìn)行認(rèn)定。但是，隨著算法隨時代不斷變化這一趨勢，我們可以嘗試通過一些原則性的認(rèn)定標(biāo)準(zhǔn)，來更好地對算法歧視進(jìn)行認(rèn)定，具體而言：一是差別性的影響標(biāo)準(zhǔn)。通過觀察算法的最終結(jié)果是否產(chǎn)生了差異性的影響，而在此過程中，不需要考慮算法的使用者或設(shè)計(jì)者是否有歧視意圖。二是不同待遇標(biāo)準(zhǔn)。當(dāng)算法的使用者或設(shè)計(jì)者有主觀的歧視故意時，通過不同的待遇標(biāo)準(zhǔn)來對算法歧視進(jìn)行認(rèn)定。

將兩者進(jìn)行綜合考慮，顯然前者的認(rèn)定標(biāo)準(zhǔn)更有利于算法主體來維護(hù)自身的合法權(quán)益，在算法歧視中，使用者或設(shè)計(jì)者的主觀意圖具有很強(qiáng)的隱蔽性，往往不會表現(xiàn)出強(qiáng)烈的意圖，這使得對其認(rèn)定十分困難。在不強(qiáng)調(diào)使用者或者設(shè)計(jì)者是否存在歧視意圖的前提下，重視算法所產(chǎn)生的結(jié)果是否具有歧視性，能夠?qū)λ痉ê蛯?shí)際的審查提供更好的參考價值。

（二）算法歧視的民事責(zé)任

隨著算法決策在日常生活中的廣泛應(yīng)用，算法歧視也引起了普遍的關(guān)注。從時間維度的角度上來看，目前學(xué)界應(yīng)對算法歧視主要有事前預(yù)防和事后救濟(jì)兩種模式。顯然，事前預(yù)防較之后者更為重要，但是在欠缺統(tǒng)一標(biāo)準(zhǔn)的情況下，事前預(yù)防這一舉措會受到很多的限制。為此，在傳統(tǒng)民事的框架下，通過事后追責(zé)的救濟(jì)模式，是最為可行的方式。

自動化決策，是指計(jì)算機(jī)算法依據(jù)個人信息進(jìn)行自動化決策。在此過程中，算法的使用者或設(shè)計(jì)者違反了相關(guān)的義務(wù)，應(yīng)當(dāng)承擔(dān)相應(yīng)的民事責(zé)任。

1.違法性。個人信息的處理者或設(shè)計(jì)者在自動化決策中，一旦違反了法定義務(wù)，就具備了違法性，反之，如若是依法進(jìn)行的自動化決策，即使產(chǎn)生了損害，也不承擔(dān)相應(yīng)的責(zé)任。具體而言：一是違反了公平合理性。這是基礎(chǔ)性的要求，行為者在自動化決策中，沒有履行相應(yīng)的告知義務(wù)，導(dǎo)致了不公平的后果，造成了個人權(quán)益的損害。二是提供了個人特征的權(quán)利選項(xiàng)。使用者在商業(yè)活動中，向不特定的公眾在選項(xiàng)中提供了真實(shí)且具有可識別性的個人特征，而沒有進(jìn)行隱私保護(hù)。三是沒有提供拒絕方式。個人沒有辦法拒絕行為者在此過程中所提供的商業(yè)推送或服務(wù)，使用戶無法依據(jù)自身的真實(shí)意思表示而進(jìn)行拒絕。四是未經(jīng)信息主體同意，公開決策結(jié)果。未經(jīng)個人同意的授權(quán)，向公眾公開了自動化決策的個人信息，具有違法性。五是泄露個人信息的決策結(jié)果后未采取補(bǔ)救措施。一旦個人信息泄露，行為者必須及時采取補(bǔ)救措施，防范風(fēng)險的進(jìn)一步擴(kuò)大，未及時通知相關(guān)部門和權(quán)利主體的，可認(rèn)為具有違法性，沒有履行有關(guān)的義務(wù)。

2.損害事實(shí)。自動化決策的行為主體在實(shí)施了相應(yīng)的違法行為之后，造成了權(quán)利主體的利益受損，就產(chǎn)生了相應(yīng)的損害事實(shí)，其中包括財(cái)產(chǎn)利益和精神利益。一方面，財(cái)產(chǎn)利益的損失可依據(jù)行為主體所擁有的財(cái)產(chǎn)和因其自動化決策所獲利益來進(jìn)行判斷。另一方面，精神利益的衡量則可以依據(jù)《民法典》第一千一百八十三條的“嚴(yán)重?fù)p害”來進(jìn)行判斷。

3.因果關(guān)系。在利用自動化決策，造成算法歧視的案件中，應(yīng)適用“相當(dāng)因果關(guān)系說”。即自動化決策中的行為主體利用自動化決策實(shí)施了某種違法行為，造成了某種損害后果，同時自動化決策主體正好實(shí)施了此種行為，且造成了該種后果。則兩者之間具有因果關(guān)系，成立該要件。

4.主觀過錯。這是其主觀要件，當(dāng)權(quán)利主體要求自動化決策的行為者承擔(dān)賠償責(zé)任時，適用過錯推定原則。通常情況下，自動決策的行為主體在其決策過程中，無視了權(quán)利主體的合法利益，實(shí)施了違法行為，放任了結(jié)果的發(fā)生，在主觀方面具有過錯。反之，如若行為人證明了自身已經(jīng)盡到了合理的注意義務(wù)，則無需承擔(dān)責(zé)任。