人工智能時(shí)代成癮性算法的危害及其規(guī)制問題研究

〔內(nèi)容提要〕經(jīng)營(yíng)者為了獲得用戶更多的注意力以實(shí)現(xiàn)高額回報(bào)催生了成癮性算法。成癮性算法主要通過行為觸發(fā)、重復(fù)使用行為、積極及時(shí)反饋、沉浸式場(chǎng)景創(chuàng)造上癮模型，并且穿插無限滾動(dòng)播放、蔡格尼克循環(huán)、顯著標(biāo)識(shí)設(shè)計(jì)等技術(shù)手段使用戶對(duì)產(chǎn)品形成被動(dòng)依賴。而成癮性算法對(duì)正常社會(huì)秩序形成了潛在威脅，經(jīng)濟(jì)方面固化壟斷格局、侵害消費(fèi)者的合法權(quán)益；社會(huì)方面促使信息繭房形成、群體價(jià)值觀極端化以及算法主導(dǎo)意識(shí)形態(tài)等風(fēng)險(xiǎn)與損害；個(gè)人層面，會(huì)損害個(gè)人的心理健康乃至身體健康。為此有必要對(duì)成癮性算法進(jìn)行規(guī)制，經(jīng)濟(jì)手段上對(duì)壟斷的分析注重注意力判斷維度，技術(shù)手段上完善算法披露，倫理層面尊重個(gè)人拒絕權(quán)利，以實(shí)現(xiàn)對(duì)成癮性算法的有效規(guī)制。

〔關(guān)鍵詞〕成癮性算法；暗模式；注意力經(jīng)濟(jì)；信息繭房

一、問題的提出

算法已經(jīng)成為當(dāng)今社會(huì)發(fā)展的全新引擎。各大互聯(lián)網(wǎng)平臺(tái)利用層出不窮的創(chuàng)新算法，吸引用戶并創(chuàng)造巨大收益。不可否認(rèn)的是，持續(xù)迭代的算法從根本上革新了市場(chǎng)競(jìng)爭(zhēng)格局。與傳統(tǒng)市場(chǎng)利用信息差進(jìn)行價(jià)格競(jìng)爭(zhēng)不同，數(shù)字經(jīng)濟(jì)時(shí)代促進(jìn)了信息的自由傳遞，信息的完全透明和無限制的自由傳遞，在理論層面消除了買方與賣方之間的信息差，極大程度上改善“信息不對(duì)稱”帶來的困境。數(shù)字經(jīng)濟(jì)時(shí)代利用大型平臺(tái)匯聚數(shù)據(jù)優(yōu)勢(shì)，利用算法形成競(jìng)爭(zhēng)優(yōu)勢(shì)，形成“平臺(tái)—數(shù)據(jù)—算法”的三維競(jìng)爭(zhēng)結(jié)構(gòu)。

但是，算法作為“在計(jì)算或解決其他問題的操作中要遵循的過程或規(guī)則集”卻并不能達(dá)到客觀的“技術(shù)中立”，“算法背后潛藏著控制算法設(shè)計(jì)和研發(fā)過程的資本權(quán)力”，然而資本權(quán)力仍是由人控制的，資本天生所具有的逐利性決定了算法的開發(fā)和控制者以“技術(shù)無法騙人”的偽善面具無限攫取高額利潤(rùn)，從而實(shí)施壟斷、破壞市場(chǎng)公平、損害消費(fèi)者福利甚至主導(dǎo)意識(shí)形態(tài)等行為。權(quán)力與資本的勾連使得算法運(yùn)營(yíng)商在提供服務(wù)的過程中偏離用戶選擇，威脅用戶信息甚至出現(xiàn)權(quán)力的僭越等權(quán)力異化現(xiàn)象。目前，已經(jīng)有實(shí)例證明在傳統(tǒng)社會(huì)中出現(xiàn)的問題，在算法時(shí)代會(huì)以更隱蔽的形態(tài)出現(xiàn)，例如2020年美國(guó)FTC聯(lián)合46個(gè)州檢察長(zhǎng)對(duì)臉書（Facebook）提起反壟斷訴訟，認(rèn)定其濫用市場(chǎng)支配地位，在社交媒體網(wǎng)絡(luò)上實(shí)施數(shù)據(jù)封禁政策等危害競(jìng)爭(zhēng)的措施；2021年開啟中國(guó)反壟斷執(zhí)法元年，國(guó)家市場(chǎng)監(jiān)督管理總局對(duì)阿里巴巴實(shí)施“二選一”的限定交易行為進(jìn)行處罰。以算法形式出現(xiàn)的新型反競(jìng)爭(zhēng)行為已經(jīng)引起了國(guó)內(nèi)外學(xué)者的注意。但是對(duì)于大數(shù)據(jù)和算法賦能的成癮性技術(shù)讓消費(fèi)者產(chǎn)生對(duì)于平臺(tái)的依賴，以此來鞏固市場(chǎng)力量固化壟斷的問題依然需要給予更多關(guān)注。

算法上癮似乎已成為日常生活的常態(tài)，人們對(duì)于各種平臺(tái)應(yīng)用的依賴已經(jīng)不單單是日常生活空余時(shí)間的消遣，而更多地偏向于被動(dòng)的依賴：社交媒體的精準(zhǔn)推送使得消費(fèi)者沉溺其中，點(diǎn)贊瀏覽量、完成任務(wù)提取現(xiàn)金等等獎(jiǎng)勵(lì)機(jī)制大肆掠奪消費(fèi)者的注意力，更有甚者會(huì)因短視頻無限滾動(dòng)刷屏產(chǎn)生入睡困難。人們明確知道欲求擺脫對(duì)某一物品的上癮，最簡(jiǎn)單的方式即遠(yuǎn)離它。但是目前來看，智能手機(jī)、應(yīng)用程序、網(wǎng)絡(luò)平臺(tái)已經(jīng)成為現(xiàn)代生活的必需品。因此有必要對(duì)成癮性算法做出適當(dāng)?shù)囊?guī)制，在不侵害企業(yè)創(chuàng)新的前提下，規(guī)范企業(yè)行為，承擔(dān)社會(huì)責(zé)任。2023年發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》中也明確要求提供服務(wù)者要“指導(dǎo)使用者科學(xué)理性認(rèn)識(shí)和依法使用生成式人工智能技術(shù)，采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務(wù)”。

我國(guó)國(guó)內(nèi)對(duì)于成癮性算法的綜合性研究較少，學(xué)者們已經(jīng)肯定了對(duì)成癮性算法進(jìn)行規(guī)制的必要性，對(duì)現(xiàn)實(shí)生活算法運(yùn)營(yíng)商利用“上癮”模式設(shè)計(jì)算法這一長(zhǎng)久未引起重視的現(xiàn)象提出疑問。但是對(duì)于成癮性算法的具體運(yùn)行機(jī)制以及對(duì)成癮性算法的規(guī)制方法，仍然處于起步階段。對(duì)于形成何種具體的規(guī)制方法，多數(shù)停留在原則性的指導(dǎo)和框架性構(gòu)建。

在國(guó)外因其計(jì)算機(jī)科學(xué)與技術(shù)發(fā)展較早，故而對(duì)于成癮性算法的關(guān)注也早于國(guó)內(nèi)?；ヂ?lián)網(wǎng)經(jīng)濟(jì)最為重要的盈利模式即是廣告收入，實(shí)現(xiàn)更為精準(zhǔn)的廣告投放并誘導(dǎo)消費(fèi)者最終實(shí)現(xiàn)購(gòu)買行為。有學(xué)者曾經(jīng)斷言“為了實(shí)現(xiàn)利潤(rùn)最大化，在理想狀態(tài)下，這些互聯(lián)網(wǎng)企業(yè)干脆在我們的大腦中植入一個(gè)芯片，用于收集我們的個(gè)人信息，從而能夠?yàn)樯碳夜蠢粘鲆环逦漠嬅?，解開用戶的所思所想”。在理解互聯(lián)網(wǎng)盈利模式基礎(chǔ)之上，就可以理解互聯(lián)網(wǎng)平臺(tái)為何對(duì)于成癮性算法的追求如此“狂熱”。

2024年2月17日，歐盟《數(shù)字服務(wù)法案》（Digital Services Act）正式生效，該項(xiàng)法案旨在營(yíng)造公平、透明的互聯(lián)網(wǎng)服務(wù)環(huán)境，進(jìn)一步壓實(shí)了超大型平臺(tái)內(nèi)容審查、信息報(bào)告的義務(wù)。法案中明確規(guī)定了在線平臺(tái)提供者不得通過在線頁(yè)面設(shè)計(jì)欺騙或者操縱數(shù)字服務(wù)受眾，損害其做出自由的、知情的決定的能力。同時(shí)，法案中要求超大型平臺(tái)有必要回應(yīng)歐盟的請(qǐng)求，并通過科研機(jī)構(gòu)的第三方中介來實(shí)施信息報(bào)告義務(wù)，闡明算法設(shè)置的動(dòng)機(jī)。美國(guó)提出的《算法問責(zé)法（2022）》通過建立算法評(píng)估機(jī)制和信息公開披露制度來對(duì)成癮性算法進(jìn)行規(guī)制，破解使消費(fèi)者處于不知情狀態(tài)下的算法黑箱。具體而言，表現(xiàn)為要求運(yùn)營(yíng)商在算法實(shí)施運(yùn)用之前，向美國(guó)聯(lián)邦貿(mào)易委員會(huì)（以下簡(jiǎn)稱“FTC”）提交簡(jiǎn)報(bào)，由FTC進(jìn)行篩選從而向公眾公開。

比較歐盟和美國(guó)的監(jiān)管措施，歐美之間的監(jiān)管措施出現(xiàn)分野。因?yàn)槟壳霸跉W盟市場(chǎng)上占據(jù)優(yōu)勢(shì)地位的大部分均為美國(guó)企業(yè)，所以歐盟對(duì)于數(shù)據(jù)流通的態(tài)度表現(xiàn)得更為謹(jǐn)慎，對(duì)于算法的規(guī)制、平臺(tái)履行信息披露的要求更加嚴(yán)格。

本文旨在闡明：一是算法上癮的運(yùn)行機(jī)制，明確成癮性技術(shù)背后的運(yùn)行邏輯，尋找理論和實(shí)踐支撐；二是成癮性算法的危害，闡明對(duì)于成癮性算法進(jìn)行規(guī)制的必要性；三為提出對(duì)成癮性算法進(jìn)行多維度規(guī)制的設(shè)想。

二、成癮性算法的運(yùn)行機(jī)制

（一）行為觸發(fā)——把握“首次注意力”

根據(jù)行動(dòng)力底層公式：B=MAT。B即Behavior，指?jìng)€(gè)人行為；M即Motivation，指行為動(dòng)機(jī)；A即Ability，指行為能力；T即Trigger，即為觸發(fā)?；ヂ?lián)網(wǎng)平臺(tái)深諳這一行為機(jī)制，以某音短視頻平臺(tái)為例，起初人們使用該應(yīng)用的動(dòng)機(jī)（即M）可能是作為消遣，追求快樂或者逃避痛苦；而某短視頻平臺(tái)的界面設(shè)置也十分簡(jiǎn)單，甚至無思考即可完成瀏覽短視頻的基礎(chǔ)功能，也因此獲得低齡未成年人和老年人的關(guān)注，簡(jiǎn)單易上手的界面設(shè)置充分地降低了用戶的使用壁壘，也即具備了A。最后，為了抓緊首次注意力形成“觸發(fā)”（即T），平臺(tái)運(yùn)營(yíng)商采取了多種觸發(fā)機(jī)制，例如喜好觸發(fā)、從眾觸發(fā)、互惠觸發(fā)，等等。因此在新用戶初次使用短視頻平臺(tái)時(shí)，會(huì)向其推送點(diǎn)贊量和瀏覽量較高的視頻，通過已經(jīng)記錄公眾共同喜好推導(dǎo)、貼近個(gè)人喜好，緊緊抓住“首次注意力”的15秒，刺激大腦分泌大量多巴胺。

（二）重復(fù)使用行為——擺脫脫敏反應(yīng)

初次帶來的新鮮感只是暫時(shí)的，為了能夠延長(zhǎng)用戶對(duì)產(chǎn)品的注意力，需要擺脫脫敏反應(yīng)使多巴胺降低。對(duì)此，各類產(chǎn)品的算法主要采取了以下措施：

1.極端個(gè)性化推薦

個(gè)性化推薦算法的應(yīng)用有效解決了互聯(lián)網(wǎng)世界中的“信息過載”問題，有效降低用戶的搜尋成本，能夠使供給和需求信息快速匹配。平臺(tái)運(yùn)營(yíng)商利用個(gè)性化推薦算法，記錄用戶的搜索、瀏覽、點(diǎn)贊、購(gòu)買等信息來刻畫用戶“數(shù)字畫像”，能夠精準(zhǔn)地“投其所好”，給用戶制造一種沒有什么比該產(chǎn)品更懂我的錯(cuò)覺，利用喜好極大影響用戶的注意力分配。有學(xué)者將極端個(gè)性化推送分為三類：涉及極端內(nèi)容的個(gè)性化推送（如暴力、色情）、針對(duì)弱勢(shì)群體的個(gè)性化推送以及針對(duì)心理漏洞的個(gè)性化推送，實(shí)現(xiàn)對(duì)人們注意力的操縱。而隨著人工智能技術(shù)的發(fā)展，未來的個(gè)性化推薦將在上述基礎(chǔ)上實(shí)現(xiàn)進(jìn)一步進(jìn)化，能夠達(dá)到與個(gè)人更完美的契合。

2.無限滾動(dòng)播放

不論是短視頻平臺(tái)還是線上購(gòu)物平臺(tái)，都采取了無限滾動(dòng)（Infinite Scrol）播放的界面展示模式，用戶只要一指輕輕下滑就能看到新內(nèi)容，給用戶帶來一種“不可控的控制感”，充分地做到了以用戶為中心，停止或繼續(xù)由用戶本人控制，而繼續(xù)重復(fù)下滑行為，依賴于個(gè)性化算法的推薦，下一條內(nèi)容又總能夠落入人們的興趣范疇之內(nèi)，使人欲罷不能，而人們永遠(yuǎn)無法預(yù)測(cè)下一條內(nèi)容是什么的未知感和期待感更高強(qiáng)度地刺激了多巴胺的分泌。同時(shí)，無限滾動(dòng)這種近乎“完美平滑”的產(chǎn)品設(shè)計(jì)，消除了用戶意識(shí)越過他者的障礙，從而能夠直達(dá)目的并且盡可能地延長(zhǎng)用戶的使用時(shí)間。

3.蔡格尼克循環(huán)

人的大腦總是對(duì)短期內(nèi)有能力完成卻未結(jié)之事印象深刻，總有一股催促完成、有始有終的內(nèi)驅(qū)力，即被稱為“蔡格尼克效應(yīng)”（Zeigarnik Effect）。一方面，已經(jīng)有學(xué)者認(rèn)為前述的無限滾動(dòng)播放帶來的上癮行為會(huì)導(dǎo)致強(qiáng)迫、焦慮和抑郁，不斷刷新的文案和圖像營(yíng)造出一種“無限可能性”的錯(cuò)覺，這使得用戶始終認(rèn)為自己的“使命”或者“任務(wù)”仍未完成，形成催促完成的緊迫感。另一方面，互聯(lián)網(wǎng)各大應(yīng)用平臺(tái)也在創(chuàng)造蔡格尼克循環(huán)，典型如閱讀網(wǎng)站到文章高潮部分設(shè)置付費(fèi)，短視頻剪輯中總是會(huì)將懸念留到最后以達(dá)到懸而未決，激發(fā)用戶的好奇心，等等。

（三）積極及時(shí)反饋——培養(yǎng)使用習(xí)慣

1.福利機(jī)制

福利機(jī)制在平臺(tái)應(yīng)用中主要表現(xiàn)為兩種：第一種即為新手福利機(jī)制，針對(duì)新用戶往往會(huì)采取多種優(yōu)惠措施：比如各大購(gòu)物平臺(tái)會(huì)推出首單優(yōu)惠甚至是免費(fèi)、一分錢買回家的新手福利，除此之外還有支付寶、抖音都有推出的邀請(qǐng)新用戶立得現(xiàn)金的福利機(jī)制。這種針對(duì)新手的福利措施能夠讓人被快速吸引，同時(shí)，“損失厭惡”的心理學(xué)現(xiàn)象使大部分用戶都很難放棄類似的“小恩小惠”。第二種則是促使用戶培養(yǎng)更為長(zhǎng)久的使用習(xí)慣而采取的長(zhǎng)期福利機(jī)制。如短視頻平臺(tái)都設(shè)置有積累觀看時(shí)長(zhǎng)以獲取現(xiàn)金，購(gòu)物平臺(tái)也采取了“種樹”的獎(jiǎng)勵(lì)措施，即激勵(lì)用戶商品界面瀏覽獲得“肥料”，積攢“肥料”滿一定數(shù)額即可獲得相應(yīng)的實(shí)物獎(jiǎng)勵(lì)。福利機(jī)制采取了一種較低的門檻甚至是獎(jiǎng)勵(lì)來觸發(fā)用戶使用，又持續(xù)依賴簡(jiǎn)單的福利機(jī)制督促用戶不斷增加使用時(shí)間甚至是金錢投入，最終通過多次的重復(fù)行為形成習(xí)慣。

2.顯著標(biāo)識(shí)設(shè)計(jì)

各類社交平臺(tái)上都存在利用顏色鮮艷、圖標(biāo)占比較大的標(biāo)識(shí)設(shè)計(jì)吸引用戶注意的情況。例如微信朋友圈的點(diǎn)贊設(shè)計(jì)、消息提醒，都采用了鮮明的紅色并且占據(jù)界面顯示的顯著位置。類似的顯著標(biāo)識(shí)設(shè)計(jì)，一方面作為消息提醒提高用戶打開產(chǎn)品的次數(shù)從而增加使用時(shí)間，有研究機(jī)構(gòu)早在2018年的研究數(shù)據(jù)表明，安卓手機(jī)用戶平均每天解鎖手機(jī)65.8次，平均每8分鐘就要解鎖一次手機(jī)，同時(shí)，明顯的消息提醒，會(huì)進(jìn)一步加深“錯(cuò)失恐懼癥”——擔(dān)心沒有及時(shí)查看消息而錯(cuò)過好友的信息和動(dòng)態(tài)，就會(huì)通過多次解鎖、多次打開社交媒體以形成接近“強(qiáng)迫”的滿足，另一方面，點(diǎn)贊按鈕的設(shè)計(jì)極大地滿足了人們心中存在的認(rèn)同感，尤其是對(duì)學(xué)生群體存在較強(qiáng)的自我認(rèn)同需求會(huì)更加關(guān)注自己發(fā)布的內(nèi)容是否獲得他人的喜愛，為了獲得這樣的滿足感，用戶又會(huì)對(duì)自己發(fā)布的內(nèi)容傾注心力以期獲得普遍認(rèn)同和贊賞，進(jìn)一步增加使用時(shí)間。

（四）沉浸式場(chǎng)景創(chuàng)造——形成深度依賴

為了能夠使用戶付出更多的精力在各類應(yīng)用中，算法運(yùn)營(yíng)商采取的模式是為用戶創(chuàng)造更為沉浸式的場(chǎng)景甚至是消除與現(xiàn)實(shí)世界的差異，其中重要的措施即滿足人的社交需求。人類社會(huì)中社交是必不可少的一步，不論是家庭鏈接、工作需要、營(yíng)銷推廣或者是技能提升都可以通過線上社交媒體實(shí)現(xiàn)，通信類平臺(tái)在此種情形下獲得了天然的優(yōu)勢(shì)，而其他類型的平臺(tái)為了能夠加深用戶黏性，也采取了“開啟通訊錄權(quán)限推薦好友”“一鍵快捷分享”等機(jī)制創(chuàng)造更為投入式的社交環(huán)境。

三、成癮性算法應(yīng)用的損害與風(fēng)險(xiǎn)

應(yīng)用成癮性算法不斷增強(qiáng)用戶黏性已經(jīng)成為各大算法運(yùn)營(yíng)商與控制者的目標(biāo)之一，但是成癮性算法的應(yīng)用已經(jīng)沖擊了原有的經(jīng)濟(jì)及社會(huì)秩序，其所帶來的經(jīng)濟(jì)損害典型表現(xiàn)為損害競(jìng)爭(zhēng)秩序，加深單純大型平臺(tái)壟斷的格局，其次，不利于消費(fèi)者保護(hù)，侵害其自主權(quán)和知情權(quán)；社會(huì)層面的損害則表現(xiàn)為形成信息繭房，促使群體極化加重交流障礙并且使用成癮性算法對(duì)個(gè)人的心理健康也有一定影響，加重緊張焦慮情緒產(chǎn)生甚至造成睡眠障礙。

（一）經(jīng)濟(jì)層面的損害

1.牢固的壟斷格局形成

互聯(lián)網(wǎng)經(jīng)濟(jì)中因?yàn)閿?shù)據(jù)競(jìng)爭(zhēng)表現(xiàn)出的規(guī)模經(jīng)濟(jì)效應(yīng)和范圍經(jīng)濟(jì)效應(yīng)極為明顯，尤其是在我國(guó)大人口基數(shù)的數(shù)據(jù)優(yōu)勢(shì)之下，已經(jīng)成長(zhǎng)起來的巨型平臺(tái)積累了大量的用戶數(shù)據(jù)，能夠創(chuàng)造出更為精準(zhǔn)的用戶畫像，利用推薦算法為用戶量身打造符合自身個(gè)性化需求的產(chǎn)品從而贏得更多用戶的青睞，而增長(zhǎng)的大量用戶基數(shù)，又能進(jìn)一步精進(jìn)推薦算法，從而形成“數(shù)據(jù)—算法—流量”三者之間的死循環(huán)，在數(shù)據(jù)市場(chǎng)商形成“優(yōu)者更優(yōu)”的局面幾乎阻擋了中小型企業(yè)進(jìn)入市場(chǎng)參與競(jìng)爭(zhēng)的通道，并且數(shù)據(jù)又具有較強(qiáng)的鎖定效應(yīng)和較高的轉(zhuǎn)換成本，對(duì)于用戶而言，自身的個(gè)性化需求得到了尊重和滿足，同時(shí)節(jié)省了大量搜尋成本，已經(jīng)習(xí)慣了算法經(jīng)營(yíng)者提供的服務(wù)，經(jīng)過自我強(qiáng)化后出現(xiàn)了路徑依賴和鎖定效應(yīng)從而成為某一數(shù)字平臺(tái)的忠實(shí)擁躉。一旦數(shù)字平臺(tái)通過成癮性技術(shù)吸引大量消費(fèi)者，多宿主現(xiàn)象將不復(fù)存在，進(jìn)一步固化了現(xiàn)有市場(chǎng)的壟斷格局。在此種情況下，由技術(shù)進(jìn)步帶來競(jìng)爭(zhēng)繁榮的場(chǎng)面不再，取而代之的則是各個(gè)大型平臺(tái)通過強(qiáng)大的技術(shù)霸權(quán)對(duì)消費(fèi)者的施壓。再者，大型數(shù)字平臺(tái)已經(jīng)不滿足于對(duì)單一市場(chǎng)的控制，不斷通過關(guān)聯(lián)公司拓寬業(yè)務(wù)范圍，實(shí)現(xiàn)數(shù)據(jù)利用層面的經(jīng)營(yíng)者集中，也即意味數(shù)字平臺(tái)在某一市場(chǎng)中所獲得用戶精準(zhǔn)畫像存在被運(yùn)用到平臺(tái)生態(tài)系統(tǒng)中的各個(gè)關(guān)聯(lián)公司的可能性，使平臺(tái)生態(tài)系統(tǒng)依然能夠基于用戶的使用習(xí)慣，以算法為基礎(chǔ)為用戶持續(xù)提供精準(zhǔn)個(gè)性化服務(wù)，強(qiáng)化用戶對(duì)平臺(tái)的依賴，從而形成平臺(tái)系統(tǒng)生態(tài)型壟斷。平臺(tái)生態(tài)型壟斷的形成，甚至?xí)┗麄€(gè)市場(chǎng)，原有的對(duì)其形成的多個(gè)平臺(tái)的擁躉直接轉(zhuǎn)變?yōu)閷?duì)一個(gè)平臺(tái)的深度依賴。

2.始終被蒙蔽的消費(fèi)者

2022年10月，經(jīng)濟(jì)合作與發(fā)展組織發(fā)布的《黑暗商業(yè)模式報(bào)告》中對(duì)黑暗模式（Dark Patten）給出的定義是通過數(shù)字選擇框架因素（特別是在線用戶界面）損害消費(fèi)者自主選擇權(quán)的商業(yè)實(shí)踐的統(tǒng)稱。在其定義的黑暗模式表現(xiàn)形式中，“不斷重復(fù)”（不斷重復(fù)類的“黑暗模式”類似要求消費(fèi)者做一些有利于商業(yè)的事情，會(huì)造成消費(fèi)者時(shí)間和精力的浪費(fèi)）和“障礙”（障礙類的“黑暗模式”是使任務(wù)流程或交互更困難從而利用消費(fèi)者的慣性行為或消磨消費(fèi)者的時(shí)間和精力。針對(duì)不同選項(xiàng)創(chuàng)建難易不同的點(diǎn)擊路徑是在成癮性算法中經(jīng)常出現(xiàn)的技術(shù)手段。例如利用福利促使消費(fèi)者瀏覽重復(fù)內(nèi)容的廣告，形成“純粹接觸效應(yīng)”，在一遍又一遍的接觸過程中，消費(fèi)者對(duì)自己不需要或者不感興趣的內(nèi)容產(chǎn)生喜歡，從而產(chǎn)生購(gòu)買欲望。而在這一過程中，消費(fèi)者并不清楚自身的購(gòu)買決策是在被引誘的情況下進(jìn)行的。在數(shù)字平臺(tái)暗模式的誘導(dǎo)或操縱下，消費(fèi)者的經(jīng)濟(jì)福利將受到損失。

（二）社會(huì)層面的損害

1.信息繭房的形成

“信息繭房”是凱斯·桑斯坦首創(chuàng)用于形容互聯(lián)網(wǎng)信息環(huán)境的詞匯。成癮性算法中對(duì)于個(gè)性化推薦算法的濫用，會(huì)導(dǎo)致信息分發(fā)的方向趨于固化，即使是在信息繁雜的互聯(lián)網(wǎng)海洋之中，依然能夠沉浸在自身興趣范圍之中。信息繭房的形成首先使得用戶作為人本身，喪失了主動(dòng)選擇的機(jī)會(huì)，長(zhǎng)期被包裹在固有的興趣愛好之中，缺失了對(duì)于未知事物探索的好奇心甚至是注意力，同時(shí)會(huì)固化原有的思維模式形成狹隘的視野。其次，信息繭房的形成會(huì)進(jìn)一步加深信息鴻溝，用戶不僅缺乏探索新事物的主動(dòng)性甚至還因此缺乏邁向新領(lǐng)域的客觀條件，用戶并不能完全控制推薦算法的走向，即使瀏覽、搜索過已經(jīng)改變的興趣內(nèi)容，但是被推薦的內(nèi)容也不一定受此影響而立馬變更。平臺(tái)算法的更新迭代尚未跟上人腦思維的轉(zhuǎn)換速度，并且平臺(tái)算法承載著算法運(yùn)營(yíng)商的意志。由此進(jìn)一步加深信息鴻溝，沒有降低反而增加了新信息的搜尋成本，也削弱了不同層級(jí)、不同群體之間的聯(lián)系。

2.群體極化的出現(xiàn)

發(fā)達(dá)的社交網(wǎng)絡(luò)使具有共同特點(diǎn)的人聚集形成自己的圈層，而群體之間同質(zhì)化的信息傳播和正向反饋又進(jìn)一步放大了集體認(rèn)同感，由此整個(gè)團(tuán)體的價(jià)值觀出奇一致并趨向極端，形成群體極化，尤其以互聯(lián)網(wǎng)“飯圈文化”的出現(xiàn)為例，喜歡同一個(gè)明星的粉絲能夠在互聯(lián)網(wǎng)的推動(dòng)下迅速聚集在一起甚至實(shí)施一些過激的協(xié)同行為，比如極端粉絲可以出于對(duì)明星的喜愛漠視道德法律的要求，而平臺(tái)各種致人成癮的使用方法、帶有傾向性的搜索結(jié)果和各類算法推送則顯然加劇了極化的過程。以“胡鑫宇案”在社交媒體上的廣泛討論為例，從最開始陰謀論的少數(shù)鼓吹者到最后即使有明確的官方通報(bào)仍然有一定數(shù)量的網(wǎng)民相信其并非自殺，堅(jiān)信“陰謀論”者在有關(guān)陰謀論的觀點(diǎn)收獲點(diǎn)贊的正向反饋中逐漸加深對(duì)于“陰謀論”的認(rèn)知，尤其是收到有共同觀點(diǎn)的群體附和之后，更加對(duì)于“陰謀論”深信不疑，表現(xiàn)出了價(jià)值觀的極化，而這種極端的程度甚至可以輕易摧毀權(quán)威機(jī)關(guān)的公信力，已經(jīng)對(duì)正常的民主、平等交流的社會(huì)環(huán)境造成威脅。

（三）個(gè)人身心健康的損害

成癮性算法利用的基礎(chǔ)性原理即不斷刺激大腦的邊緣系統(tǒng)，持續(xù)性刺激多巴胺的分泌，從而持續(xù)性延長(zhǎng)用戶的使用時(shí)間，尤其以無限滾動(dòng)刷屏的短視頻為例，無限滾動(dòng)設(shè)計(jì)的原創(chuàng)者阿薩·拉斯金甚至表示“我從無限滾動(dòng)中學(xué)到的一個(gè)教訓(xùn)，就是優(yōu)化易用性并不意味著對(duì)用戶或者人類來說最好”。自動(dòng)播放的短視頻會(huì)對(duì)人的中樞神經(jīng)系統(tǒng)產(chǎn)生持續(xù)的高強(qiáng)度的刺激，長(zhǎng)時(shí)間的緊張狀態(tài)勢(shì)必會(huì)增加疲勞感。如果缺乏戒斷機(jī)制，則更容易出現(xiàn)焦慮、抑郁等心理疾病。而在算法社會(huì)中，已經(jīng)有用戶主體能感知到算法所帶來的焦慮，其中算法沉迷焦慮亦是算法焦慮的一個(gè)維度。短視頻社交媒體的依賴也會(huì)影響人們的日常行為。有研究表明短視頻社交媒體的使用和夜間社交媒體使用會(huì)影響睡眠質(zhì)量，形成睡眠障礙。

四、成癮性算法的規(guī)制

成癮性算法給正常的社會(huì)秩序造成了嚴(yán)重的損害，因此對(duì)其進(jìn)行規(guī)制是十分必要的，并且算法已經(jīng)具有成癮性，即用戶已經(jīng)產(chǎn)生了被動(dòng)性地依賴，依靠用戶主動(dòng)戒斷的可能性較低，有必要引入外力的強(qiáng)力規(guī)制，且應(yīng)當(dāng)意識(shí)到戒斷“成癮性算法”并不意味著要“戒斷數(shù)字經(jīng)濟(jì)”，人們應(yīng)當(dāng)在非剝削的情況下享受數(shù)字經(jīng)濟(jì)帶來的福利。同時(shí)，對(duì)于成癮性算法的認(rèn)識(shí)，不應(yīng)該僅僅停留在技術(shù)手段的認(rèn)知，成癮性算法的底層邏輯與賭博行為幾近相似。在娜塔莎·道·舒爾在其著作中闡述對(duì)于賭博場(chǎng)所、賭博機(jī)器的設(shè)計(jì)中，遵循增強(qiáng)用戶使用時(shí)間、形成“以玩家為中心”的賭博體驗(yàn)，以及“差一點(diǎn)兒就能贏”的視覺效果等設(shè)計(jì)與當(dāng)前的互聯(lián)網(wǎng)算法設(shè)計(jì)共享了一套相同的底層邏輯，但是成癮性算法仍然處于監(jiān)管的灰色地帶，不論是《個(gè)人信息保護(hù)法》，還是《民法典》中有關(guān)隱私保護(hù)的規(guī)定，以及《消費(fèi)者權(quán)益保護(hù)法》，都不能夠完全且切實(shí)地規(guī)范成癮性技術(shù)，而賭博則是在多數(shù)國(guó)家明令禁止的行為。為彌補(bǔ)監(jiān)管的缺失，有必要采取以下三個(gè)措施對(duì)成癮性算法進(jìn)行良好的規(guī)制。

（一）反壟斷引入注意力成本考量

讓·梯若爾曾對(duì)數(shù)字經(jīng)濟(jì)時(shí)代所謂的“注意力經(jīng)濟(jì)學(xué)”進(jìn)行論述，在高度一體化的市場(chǎng)中，信息的傳播成本幾乎為零，困擾人們過多的選擇，如何能夠在繁雜的交易中分配自身的注意力就成為一個(gè)重要的經(jīng)濟(jì)問題，而在成癮性算法的設(shè)計(jì)中，最為關(guān)鍵的，就是對(duì)用戶的注意力進(jìn)行剝奪?；ヂ?lián)網(wǎng)平臺(tái)可以通過攫取消費(fèi)者的注意力實(shí)施各種壟斷行為，例如能通過獲取用戶的注意力而得到更多的數(shù)據(jù)占據(jù)市場(chǎng)支配地位，從而實(shí)施“大數(shù)據(jù)殺熟”的差別對(duì)待行為、“二選一”的限定交易行為。注意力成本在數(shù)字經(jīng)濟(jì)時(shí)代壟斷行為的產(chǎn)生起到了重要的作用，將其納入壟斷行為的判定中是至關(guān)重要的。其次，根據(jù)互聯(lián)網(wǎng)的盈利模式來判斷。廣告收入是當(dāng)下互聯(lián)網(wǎng)行業(yè)的命脈收入，廣告投放能夠產(chǎn)生預(yù)期效果就十分需要用戶的注意力分配，而大數(shù)據(jù)獲取個(gè)人信息以及算法更加精進(jìn)投其所好的最終目的依然是能夠獲得用戶的注意力。然則，人并非機(jī)器，個(gè)人的注意力如同貴金屬一樣是有限的，具備稀缺性的特征，個(gè)人的注意力在數(shù)字市場(chǎng)具備了傳統(tǒng)市場(chǎng)中貨幣的性質(zhì)。平臺(tái)利用成癮性技術(shù)獲取超過市場(chǎng)水平的注意力并讓消費(fèi)者承擔(dān)注意力被過度支配產(chǎn)生的成本，無異于傳統(tǒng)經(jīng)濟(jì)中壟斷組織向消費(fèi)者提高價(jià)格、承擔(dān)金錢成本，因此有必要將個(gè)人注意力成本納入反壟斷執(zhí)法的考量中。

（二）明確算法事前披露機(jī)制

目前，針對(duì)算法實(shí)施應(yīng)該采取事前備案的算法透明原則還是應(yīng)當(dāng)采取事后披露的算法問責(zé)機(jī)制，在學(xué)界仍存在爭(zhēng)議。有學(xué)者認(rèn)為事前告知算法的具體運(yùn)行規(guī)則會(huì)導(dǎo)致人們刻意迎合，從而失去了算法調(diào)整的原本目的，擾亂社會(huì)秩序，但是筆者仍然堅(jiān)持應(yīng)該實(shí)施算法的事前備案機(jī)制，因?yàn)楝F(xiàn)在的技術(shù)發(fā)展即使將全部源代碼公開，能夠成功運(yùn)行算法并且闡明算法設(shè)置的具體規(guī)則的人也并不占多數(shù)。其次是當(dāng)前人工智能技術(shù)的引入，即使對(duì)于算法技術(shù)開發(fā)商而言也對(duì)產(chǎn)生結(jié)果的解釋存在一定的困難，因?yàn)槿斯ぶ悄苣軌虬凑账惴ǖ囊蟪掷m(xù)進(jìn)行自我迭代，而迭代的具體過程的解釋、分析難度較大，且目前故而應(yīng)該堅(jiān)持事前備案的機(jī)制，同時(shí)應(yīng)當(dāng)完善細(xì)化備案內(nèi)容，以算法類型和企業(yè)提供的算法自評(píng)估報(bào)告為基礎(chǔ)進(jìn)行實(shí)際測(cè)試?？筛鶕?jù)算法披露的等級(jí)、披露面向的人群兩個(gè)層次進(jìn)行考慮，來完善算法披露機(jī)制。我國(guó)《個(gè)人信息保護(hù)法》中對(duì)算法公開的要求可以視為“初級(jí)公開”，歐盟在《通用數(shù)據(jù)條例》中提出的披露算法運(yùn)行邏輯和具體參數(shù)的公開可認(rèn)為是“具體透明”，美國(guó)在《過濾氣泡透明度法案》中提出的算法源代碼公開為“完全披露”。初級(jí)公開應(yīng)當(dāng)對(duì)整個(gè)社會(huì)群體保持公開，并且采取清晰、簡(jiǎn)潔、易懂的方式進(jìn)行公開。具體透明的算法披露等級(jí)可以根據(jù)平臺(tái)本身的性質(zhì)、面向人群有選擇性地向平臺(tái)用戶公開；而對(duì)于完全透明的算法披露等級(jí)，為了不限制算法經(jīng)營(yíng)者的創(chuàng)新積極程度和對(duì)算法經(jīng)營(yíng)者自身商業(yè)秘密的保護(hù)，應(yīng)該采取審慎態(tài)度，只有對(duì)于具有社會(huì)煽動(dòng)能力的特殊企業(yè)才有必要實(shí)施完全披露，同時(shí)完全披露的對(duì)象應(yīng)當(dāng)限制在政府監(jiān)管機(jī)構(gòu)。作為補(bǔ)充的是，政府的監(jiān)管仍有面臨腐敗侵蝕的可能性，可以參考?xì)W盟的《數(shù)字服務(wù)法案》，在算法運(yùn)營(yíng)商和政府監(jiān)管機(jī)構(gòu)之間引入完全中立、不存在利益沖突、足夠客觀、具備成熟技術(shù)經(jīng)驗(yàn)的第三方研究機(jī)構(gòu)，由其對(duì)完全披露的算法源代碼進(jìn)行備案、試驗(yàn)及審查。

（三）尊重個(gè)人拒絕權(quán)

“人們用失去隱私、喪失個(gè)人生活和失去批判謹(jǐn)慎的代價(jià)換取可預(yù)測(cè)性、安全性，以及人類壽命的延長(zhǎng)”。成癮算法帶給人們巨大誘惑，使人不得不為了享受技術(shù)福利而犧牲自身的權(quán)益，形成“隱私悖論”現(xiàn)象。但是應(yīng)當(dāng)明確的是，個(gè)人信息、個(gè)人權(quán)利的讓渡與否的主動(dòng)權(quán)應(yīng)當(dāng)充分掌握在每一個(gè)個(gè)體手中，個(gè)人有選擇是否允許平臺(tái)收集個(gè)人信息的權(quán)利，也有選擇允許收集多少信息以享受技術(shù)福利。但是算法運(yùn)營(yíng)商憑借自身所形成的算法霸權(quán)，以及對(duì)利益的追求，漠視個(gè)人選擇，甚至對(duì)個(gè)人選擇的自主性設(shè)置障礙，在能否選擇個(gè)性化推薦的這一過程中，企業(yè)在實(shí)踐中仍然在打“擦邊球”，或是使得關(guān)閉個(gè)性化推薦功能按鈕不顯著，或是通過默認(rèn)同意個(gè)性化推薦的方式進(jìn)行。我國(guó)的《個(gè)人信息保護(hù)法》第二十四條第三款表明對(duì)個(gè)人權(quán)益有重大影響的決定，個(gè)人有權(quán)拒絕個(gè)人信息處理者僅通過自動(dòng)化決策的方式做出決定，《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第十七條規(guī)定，算法推薦服務(wù)提供者向用戶提供便捷的關(guān)閉算法推薦服務(wù)的選項(xiàng)。用戶選擇關(guān)閉算法推薦服務(wù)的，算法推薦服務(wù)提供者應(yīng)當(dāng)立即停止提供相關(guān)服務(wù)。由此我國(guó)的立法中明確地規(guī)定了對(duì)于個(gè)人拒絕權(quán)的適用條件，為個(gè)人拒絕權(quán)的行使提供法律支撐。同時(shí)，應(yīng)該意識(shí)到，在算法時(shí)代對(duì)個(gè)人拒絕權(quán)的尊重，是將道德倫理嵌入到技術(shù)發(fā)展過程中，真正地落實(shí)了“以人為本”而不是“以技術(shù)為本”的道德倫理要求。即使是在算法時(shí)代，個(gè)人仍然具備充分的選擇自主。個(gè)人拒絕權(quán)保留了主體對(duì)于數(shù)字人格的控制，實(shí)現(xiàn)自主決定的自由，是捍衛(wèi)人性尊嚴(yán)的重要工具。因此有必要充分尊重個(gè)人拒絕權(quán)，并且完善個(gè)人拒絕權(quán)的相關(guān)產(chǎn)品設(shè)計(jì)，對(duì)于向平臺(tái)提出關(guān)閉個(gè)性化推薦服務(wù)、注銷平臺(tái)賬號(hào)等界面設(shè)置應(yīng)該更加簡(jiǎn)潔，不應(yīng)在實(shí)施個(gè)人拒絕權(quán)利的過程中設(shè)置無端阻礙。此外，要強(qiáng)化責(zé)任體系，義務(wù)的良好履行才能保障權(quán)利的順利實(shí)施，不應(yīng)再將前述的“隱藏關(guān)閉個(gè)性化推薦”“默認(rèn)自動(dòng)化推薦功能開啟”等行為仍使其處于法律規(guī)制的灰色地帶，可以采取勸誡、警告等柔性處理方式保障個(gè)人拒絕權(quán)得以實(shí)施。

（作者單位：華東政法大學(xué)經(jīng)濟(jì)法學(xué)院）