人工智能時代算法權力的滲透與個人信息的監(jiān)控*

■ 許天穎 顧理平

一、問題的提出

從物聯(lián)網(wǎng)、大數(shù)據(jù)到人工智能、5G,加速演進的信息技術以更快的速度、更大的規(guī)模催生了更為深刻的社會革命。“科學與技術的推進,使得世界的‘可預測性’增強,同時也造成了新的‘不確定性’”①,數(shù)字化記憶以及由此帶來的“凝視”讓人們處在前所未有的數(shù)據(jù)收集和監(jiān)控之中,個人信息作為全新的權力載體,經(jīng)過數(shù)據(jù)聚合、代碼設計、算法挖掘等一系列后臺“催化”,對信息主體進行規(guī)訓與控制,構成獨具智能時代標簽的監(jiān)控范式與權力滲透路徑。

監(jiān)控的技術產(chǎn)生權力的效應,這是米歇爾·福柯(Michel Foucault)微觀權力理論的重要觀點。20世紀70年代,福柯在“圓形監(jiān)獄”理論基礎上提出了“全景敞視主義”,在他看來,監(jiān)控與權力之間有著密切的關系,“圓形監(jiān)獄”是一個神奇的權力機器,在“毫不喧嘩”中產(chǎn)生效果,采用了時間、空間、光線等權力物理學技術,在被囚禁者身上造成一種有意識的、持續(xù)可見的狀態(tài),造成其“被監(jiān)視”“被孤立”的心理,從而實現(xiàn)了自我管理與規(guī)訓,監(jiān)視者可見又不可確定的權力局勢帶來了監(jiān)視效果的持續(xù)性,這就是所謂的“全景敞視主義”。

“全景敞視建筑”構筑的是一套話語理論,揭示作為權力的話語以何種方式發(fā)揮作用、并凸顯主體的構建②,它的實質(zhì)并不僅僅是塔樓上的那個獄卒,而是施加于囚犯、使他或她成為一個罪犯的整個話語/實踐和權力結(jié)構③,這套結(jié)構規(guī)定、質(zhì)詢和確定了主體的位置、身份、立場④。

當代技術的發(fā)展與更迭早已突破了福柯關于監(jiān)控技術的想象,但依舊沒有擺脫“監(jiān)視技術產(chǎn)生權力效應”的實質(zhì)。數(shù)據(jù)、算力、算法構成了全新信息方式的內(nèi)核,人、物、場景無時無刻不在進行著信息輸出,多元數(shù)據(jù)庫的關聯(lián)以及精準智能的價值匹配,將現(xiàn)實世界與虛擬世界的關系全面升級,監(jiān)控借助更為隱蔽、更加廣泛的方式,將權力滲透到社會的各個細節(jié)與人們的日常行為之中,通過對人、物、場景的存在、屬性以及關系進行標識與再現(xiàn),成為當代社會的“圓形監(jiān)獄”“透光窗戶”和“中心塔樓”,構成全新的社會控制與權力樣態(tài)。

本研究試圖探尋全新的信息方式下監(jiān)控范式如何流變,其規(guī)訓形態(tài)、主體身份與社會行為、監(jiān)視主體,發(fā)生了哪些新的變化；作為信息方式內(nèi)核的算法,到底通過什么途徑完成了權力的滲透,通過對監(jiān)控表象的梳理抵達權力建構的內(nèi)核,觸及技術發(fā)展如何撬動了現(xiàn)有的權力結(jié)構和社會秩序,并且設想在機器智能占據(jù)主導的世界,監(jiān)控與權力的未來圖景。

二、人工智能時代監(jiān)控范式的流變

數(shù)據(jù)與算法的聯(lián)姻讓“全景監(jiān)視”變得隱蔽而日常,規(guī)訓形態(tài)從原先的“中心瞭望塔”變成遍布在社會有機體周遭的“毛細血管”；各類傳感設備具身模糊了公私邊界,生物特征信息、思維活動、心理狀態(tài),以及動態(tài)的場景化信息變得可感可測,不斷豐富和提升著智能系統(tǒng)的數(shù)據(jù)和算力；在中心塔樓熟練掌握操作盤的是一群看似中立的代碼設計者、程序員,他們通過高門檻的技術知識,在技術后臺借助流動與延拓的時空建構權力。

1.新的監(jiān)控形態(tài):從“瞭望塔”到“毛細血管”

以個人信息的監(jiān)控為例,各類信息技術形成了不同的監(jiān)控形態(tài)。數(shù)據(jù)聚合與挖掘技術,將瑣碎的個人信息迅速匯聚起來,個人的習慣、偏好、關系和社交網(wǎng)絡等不同的數(shù)據(jù)庫被相互連接與分析,構成了主體現(xiàn)實與未來行動的重要線索,大數(shù)據(jù)“基于歷史的數(shù)據(jù)去形成新的可視性”的邏輯,成為其建構權力的來源。物聯(lián)網(wǎng)技術把人或各種物品通過射頻識別(RFID)、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備與互聯(lián)網(wǎng)連接起來,通過信息交換和通信,實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理⑤,通過構建人與物的共生關系,進一步加劇了權力的延伸。人工智能技術將使人與智能機器(包括軟件)變成人機合一的關系⑥,人與機器可以構成同一個系統(tǒng),包括“人體”這個系統(tǒng)。人體上將有越來越多的“機器”,它們以可穿戴設備、傳感器和其他芯片形式存在,芯片可以植入人體,無限細密的監(jiān)視之網(wǎng)不僅嵌入了人們的日常生活,權力效應還獲得了潛入人類意識的可能。

伴隨著各類技術監(jiān)控觸角的深入,對“所有地方的所有信息”⑦進行監(jiān)視變得可能。所謂“所有地方”,是指監(jiān)控的發(fā)生正從固定的場所變得流動和液態(tài),技術的日益精密與隱形,其強大的時空消弭能力、廣闊的時空延伸能力、實時的多層次人機交互能力,使得“囚犯居民”無須關在任何建筑物中居住,只須照常進行日常生活⑧。所謂“所有信息”,是指監(jiān)控的形態(tài)正從“皮上監(jiān)控”走向“皮下監(jiān)控”⑨,新技術以暗流涌動的方式,將這種“感知”與“警覺”延伸至身體所處觸達的時空,同時開辟了通向人類中樞神經(jīng)系統(tǒng)的“電筒”,讓原本蝸居于人腦人心的思維活動、心理狀態(tài)變得具體可感,監(jiān)控幾乎逼近至私人空間的極限。

因此,福柯論述的監(jiān)控是在一個相對固定的特殊場所內(nèi)進行,在這個獨特的場所中,通過重構的空間、持久的注視、充足的光線,使得被監(jiān)視者處于一種被隔絕、被觀察、被控制的狀態(tài),權力的實施成為可能。人工智能時代的監(jiān)控,不再只是附著于固定場所的“中心塔樓”,而是如同空氣和水一樣,呈現(xiàn)“24×7”的毛細血管式的全覆蓋；不再是“主干+枝杈”的一棵樹,而是四處蔓延、能夠觸及任何一處細微角落的爬行植物。⑩

2.新的主體建構:去中心、多重化的“數(shù)字人”

在監(jiān)控技術所誘發(fā)的權力效應中,主體建構方式的變化是其中的重要內(nèi)容。馬克·波斯特在福柯規(guī)訓機制的基礎上,通過對數(shù)據(jù)庫話語的觀察,認為“只要通過數(shù)據(jù)庫,主體就被多重化、去中心化,電腦能從許多社會場合對主體產(chǎn)生作用,而所涉及的個體卻毫不知情”。

以個人信息的收集與處理為例,在普通個體看不見的“后臺”,“數(shù)據(jù)庫通常是通過對現(xiàn)實的‘擬仿’發(fā)揮功能的”,這種擬仿可以理解為數(shù)據(jù)庫信息方式下“被殖入的自我”,每變換一種情境和場景,就會殖入一種新的自我。在現(xiàn)實自我與多個“被殖入的自我”,亦即現(xiàn)實人格與數(shù)字人格之間,仿佛是“1”與無限大數(shù)量之間的“不對稱耦合”,“1”在對應無數(shù)種關聯(lián)的過程中,極易導致自我的斷裂,“主體不可能認為自己還占據(jù)著自我理性的、自律的主體性的中心,也不可能認為還是被一個界定明晰的自我所限定著,自我變成了分裂的、多重的、消散于社會空間之中”。

隨著技術與人的融合日益加深、人的身體與日常生活細節(jié)越來越精密地被縫合在了比特網(wǎng)絡之中,人類開始變成一種“電子存在物”。各類可穿戴設備與自我追蹤裝置,引發(fā)了量化自我運動。技術具身的身體,使得主體的各項行為被數(shù)字化,變成了行走的“數(shù)字人”,從每天睜開雙眼的一瞬間,就被鑲嵌在了現(xiàn)實與虛擬、多維時間與異質(zhì)空間之間,游走在私人領域與公共領域之間。一方面,人本身成為計算機數(shù)據(jù)的重要來源,各類感知、行動都可以被技術、算法所利用并“再現(xiàn)”；另一方面,這些基于技術邏輯的數(shù)據(jù)又規(guī)約著賽博人主體性的內(nèi)涵及實踐。在這一過程中,數(shù)據(jù)智能通過“表征”而非“還原”的方式再現(xiàn)主體,同時能動地介入了主體的行動與社會現(xiàn)實的構建。

作為身體與技術的互嵌體,“數(shù)字人”最大的特征就是突破了人與機器的邊界,技術可以創(chuàng)造虛擬身體并且把它與人類的肉身之軀分離開來,而且化身的形態(tài)各異,可以在同一個時間出現(xiàn)在不同的空間里,也可以在同一個空間中獲得時間性的延續(xù),“化身”的多樣形態(tài)直接導致了主體建構的多重化,使得“自然主體”與“數(shù)字主體”錯綜交疊。

3.誰來操控瞭望塔:代碼控制者

當社會從有形的物質(zhì)創(chuàng)造價值轉(zhuǎn)向無形的信息創(chuàng)造價值,整個社會對信息資源的依賴和利用不斷加強,來到中心瞭望塔的匿名的、臨時的監(jiān)視者也越來越多。傳統(tǒng)權力機構不再只是超然的法律規(guī)則制定者和執(zhí)行者,同時也是個人信息最大的收集、處理、儲存和利用者；商業(yè)結(jié)構因為資本逐利的天性,對信息這一“新資源”的需求甚過以往；信息機構,即專門從事個人信息收集、處理、儲存、傳輸和利用等相關活動的法人和其他組織,開始作為獨立的利益相關者出現(xiàn)。

福柯在其微觀權力理論體系中,基于傳播實踐,提出知識生產(chǎn)權力,權力通過知識話語表現(xiàn)出來,“知識的形成與權力的增強有規(guī)律地相互促進:一方面,通過對權力關系的加工,實現(xiàn)一種認識‘解凍’,另一方面,通過新型知識的形成與積累,使權力效應擴大。”。面對個人信息的監(jiān)控,在多個匿名監(jiān)視者之中,占據(jù)技術話語的是代碼控制者,即信息機構中的程序編寫人員,是他們決定了如何對代碼進行編譯,決定了代碼應當是怎樣運行,決定了網(wǎng)絡的缺省設置應當是什么,個人信息是否應當受到保護、所允許的匿名程度、所保證的連接范圍等。程序編寫人員借助對代碼的控制獲得了所謂的“知識話語”,坐上了瞭望塔中心操作盤的交椅。

但是,代碼的運行鑲嵌在社會結(jié)構之中,“它不僅僅是一個技術架構的控制,同時還是一套社會控制機制；它反映的不單純是技術人員對于網(wǎng)絡結(jié)構的自我認識,同時反映了在社會治理過程中,對技術變革的可控制性所蘊涵的政治意義和商業(yè)價值的關注”。也就是說,代碼控制者還必然包含了在社會運行結(jié)構中的傳統(tǒng)權力機構和商業(yè)結(jié)構,它們喚醒了附著在技術變革之上更為強烈的控制意識。政治權威和商業(yè)資本,可以通過架設另一套準則,將代碼運行規(guī)則予以根本改變,從而控制政治資源的流向或者找到最佳的營銷方案。

伴隨著智能技術的發(fā)展,代碼運行規(guī)則還可能被另外一套準則所控制——機器準則,人類智慧可能被機器智能反超、人類準則可能被機器準則所僭越。在人工智能的初始階段,看不見的“后臺”,或許仍然被傳統(tǒng)權力機構、商業(yè)機構、信息機構等把持,“后臺”運行的權力邏輯仍然與政治控制或者商業(yè)逐利有關。但在不斷深度學習和算法迭代之后,機器智能就會超過人類智能,機器完全逾越了后臺指令,代碼便落入了真正的“黑箱”。

三、人工智能時代算法權力的滲透

在福柯的論述中,“全景監(jiān)獄”不僅是通過監(jiān)控的技術誘發(fā)權力效應的“神奇機器”,同時也是進行試驗、改造行為、規(guī)訓人的“實驗室”；不僅通過對于肉體、表面、光線、目光的某種統(tǒng)一安排和內(nèi)在機制產(chǎn)生制約個人的關系,誘發(fā)了不對稱、不平衡、有差異的權力效應,同時還獲得了深入人們行為的效能,能使權力在任何時刻進行干預,甚至在過失、錯誤或者罪行發(fā)生之前就不斷施加壓力。人工智能時代,監(jiān)控依然是權力實施的話語/實踐,只是在流變的監(jiān)控范式下,權力到底是通過怎樣的方式滲透與嵌入,由算法構建起的權力是如何與政治經(jīng)濟系統(tǒng)的職能相互嵌合,構建起權力機制與職能結(jié)合的交匯點,從而具備了重塑社會權力結(jié)構的可能。

1.細小日常的規(guī)訓機制:如影隨形的權力座駕

在福柯看來,全景敞視機制的發(fā)展和普遍化是由細小的、日常的物理機制來維持的,細小的規(guī)訓技術,規(guī)訓所發(fā)明的表面上微不足道的技巧,乃至那些使規(guī)訓披上體面外衣的“科學”,都受到了重視,人們十分擔心如果拋棄了它們,會找不到其他替代物。

這樣的描述十分逼近人們?nèi)缃竦闹悄芑?一方面,用戶通過手機使用,順利實現(xiàn)了跨屏觸達、場景滲透、互動參與和內(nèi)容生產(chǎn),全新的信息方式帶來了多層次交往的體驗；另一方面,多終端、沉浸式、場景化的媒介體驗也導致了用戶的工具依賴,手機全天候不能離身,各類工具類App內(nèi)置了多個虛擬身份,全面嵌入人們的日常生活。

伴隨著“24×7”的毛細血管式的監(jiān)控形態(tài),無孔不入的監(jiān)控技術不僅慢慢擴展到個人生活無限細小的層面,同時還激活了沉寂已久的“身體”,許多原先只有微弱影響力的與身體隱私有關的領域,開始被賦予意想不到的挖掘價值,比如伴隨身體的移動而產(chǎn)生的位置信息；身體的某個細小部件(眼睛、耳朵)、基因(DNA)、運動(心跳、脈搏)或者全身掃描成像圖景等構成的生物特征信息；穿透身體皮膚直達內(nèi)心的意識信息等。“返場”后的身體不再只是被光線照亮的“輪廓”,而是主體介入環(huán)境、置身場景、連結(jié)社會關系,使權力關系得以擴展的重要“介質(zhì)”,“對身體的監(jiān)控從依靠身體的物理邊界和身體活動的有限時空,變?yōu)檠由斓摹]有疆域的時空”。

隨著數(shù)據(jù)的積累與算法的升級,蘋果的Siri系統(tǒng)、阿里開發(fā)的“天貓精靈”等開始搶灘“虛擬助手市場”,試圖為用戶構建平行世界里的另一個自己,從而蓄積定向支配用戶認知與行為的巨大能量。如今,中國的互聯(lián)網(wǎng)用戶越來越習慣讓今日頭條來推送各類資訊、讓豆瓣列出書單、讓百度地圖帶領從而抵達目的地、讓大眾點評推薦一款附近的且價格合理的餐廳,因此,當一個集結(jié)了上述功能的“智能私人管家”出現(xiàn),人們一定會越發(fā)依賴、更加愿意被“套牢”,并且自愿放棄其他選擇的機會。

如果這款“私人管家”被默認設置在用戶手機,能夠與其他應用配合默契,那么,人們就會逐漸將更多原先的自行搜索與個人決策省略,“私人管家”由此獲得了在推薦產(chǎn)品和解決方案之間自由發(fā)揮的特權。在這一過程中,后臺獲得的用戶個人信息不僅呈現(xiàn)幾何級的增長,而且還會在數(shù)據(jù)信息不斷的“投喂”與“校驗”下,拉動算法智能的提檔升級,讓這位管家變得越來越聰明、可靠,直至人們放心地將選擇的權力完全移交。

因此,當個體被置于“觀察”之下,當規(guī)訓變得細小而日常,權力便如同籠罩上空的巨型“座架”,如影隨形、無處逃離,身處其中的人們在享受著智能、便捷、充分給予的便利服務的同時,也被牢牢限定在“數(shù)據(jù)+算法”的規(guī)訓之中。

2.單向透明的主體建構:千人千面的算法畫像

全景敞視監(jiān)獄通過獨特的空間構造保證了秩序的運行——囚室的房間被安排成正對著中心瞭望塔,具備了“向心的可見性”；但是環(huán)形建筑被分割的囚室,則意味著一種“橫向的不可見性”,正是這種不可見性,成為一種秩序的保證,這種秩序維持了監(jiān)視者隨時可以計算和監(jiān)控的權力,而被監(jiān)視者則處于被隔絕、被觀察的狀態(tài)。

人工智能時代,數(shù)據(jù)痕跡的延伸生成一個更為透明的社會空間。然而,這種透明并非無差別的雙向透明,而是數(shù)據(jù)持有者、算法控制者相對于互聯(lián)網(wǎng)接入者的單向透明。在這個虛擬空間,“主體是漂浮著的,懸置于客觀性的種種不同位置之間。不同的構型使主體隨著偶然情境的不確定而相應地被一再重新構建”,“主體被電腦化的信息傳遞以及意義協(xié)商所消散,被重新制定身份,在符號的電子化傳輸中被持續(xù)分解和物質(zhì)化”,之后根據(jù)具體情況按照程序化的方法被區(qū)分與對待,構成了“千人千面”的算法畫像。

事實上,淘寶等電商平臺很早就推廣了“千人千面”的購買界面,即根據(jù)用戶的商品檢索記錄,迅速調(diào)整和定制動態(tài)界面,更好地呈現(xiàn)與用戶搜索記錄更為接近的相關商品。在用戶點開網(wǎng)頁的幾秒之內(nèi),數(shù)據(jù)后臺便根據(jù)其掌握的用戶數(shù)據(jù),主要包括搜索記錄、購買歷史、瀏覽痕跡、停留時間等信息,快速計算出用戶最有可能購買的商品,并在顯著位置呈現(xiàn)出來。

“千人千面”的硬件基礎是手機運用所帶來的“一人一屏”,正是因為每個人的手機屏幕上可以顯示不同的內(nèi)容,價格才可以變成“千人千價”,通過數(shù)據(jù)對用戶進行區(qū)分和畫像。例如在手機上購買機票,算法可以通過大數(shù)據(jù)判斷用戶是否為白領階層,當用戶進入購買界面時,高端白領看到的都是商務艙機票,而在校大學生看到的則是打折機票。可以認為,手機上顯示的票價反映的是電商對用戶愿意為這件商品所支付的最高價格的估算,差別化定價反映出的是電商根據(jù)用戶的購買意愿與支付能力,將其歸入不同的分組,并且對每一位用戶或者某一類消費群體的需求彈性做出合理判斷的能力。

個人信息和算法的結(jié)合,開始取代傳統(tǒng)的市場調(diào)節(jié),成為幕后價格操縱的那只看不見的手。商家和用戶之間不再是一對多的關系,而是變成了一對一的關系,價格是根據(jù)活躍在中心瞭望塔的技術“大腦”們分類計算得出的,每一條價格都是隱秘的、單行的,用戶被安置在彼此割裂的“囚室”,等待著價格的差異化分配,同時被誘導對那些并非自己所需的產(chǎn)品支付更高的價格。

被后臺計算出的“數(shù)字人格”在很大程度上取決于算法控制者對數(shù)據(jù)的處理原則,這樣的原則為每個主體建構了額外的社會身份。比如,銀行會根據(jù)你的信用記錄判斷你的“信用人格”,從而決定是否給你發(fā)放貸款；工作單位會根據(jù)你以往的業(yè)績與表現(xiàn)審定你的“工作人格”,從而確定是否接受你的求職；保險公司會根據(jù)你的醫(yī)療記錄評估你的“健康人格”,從而決定給你匹配什么樣的保險品種……個人信息由此變成了一道劃分社會階層、區(qū)隔不同群體的鴻溝,通過隱蔽且匿名的方式,嚴密地進行著登記、評估和分類。

3.無形的囚室之墻:技術知識豎起權力高墻

“知識和信息一直是生產(chǎn)力和權力的重要源泉”,按照“數(shù)據(jù)—信息—知識”的層次結(jié)構,數(shù)據(jù)是離散的實體或符號,信息是結(jié)構化的數(shù)據(jù),知識則是信息的積累和整合。人工智能時代,“大數(shù)據(jù)以一種前所未有的海量形式泉涌出來,并從多種維度上持續(xù)不斷地對于人的種種屬性、狀態(tài)和外部關系進行實時的描述和呈現(xiàn)；而算法技術則通過建模實現(xiàn)對人的認識感知能力、分析處理能力和決策判斷能力進行‘模擬仿真’以及在此基礎上的超越”。

不同于現(xiàn)實世界,虛擬世界的游戲規(guī)則必須借助一定的技術工具才得以實現(xiàn)。對技術工具掌握水平的高低,將會直接影響相應主體在網(wǎng)絡空間行為能力的大小,這里所說的能力包括了對技術工具的占有、對技術知識的掌握以及對技術架構的支配。在技術空間,架構主要由代碼控制,“控制了代碼就決定了整個網(wǎng)絡應用背后架構的模式,對相關的網(wǎng)絡應用行為也就構成了約束”。

在網(wǎng)絡的交易市集,網(wǎng)絡平臺商、應用軟件開發(fā)商、網(wǎng)絡用戶之間共同形成了交易的主體,市集創(chuàng)收主要來源于用戶點擊與廣告分成,面對個人信息這一財富與資本積累的源頭,網(wǎng)絡平臺商、應用軟件開發(fā)商同樣如饑似渴,只要用戶打開手機、將手機聯(lián)網(wǎng),便開始合力追蹤和解讀用戶的個人信息。用戶只要在某處網(wǎng)站或是某個應用程序上稍作停留,便無償支出了大量的數(shù)據(jù)“原油”。

然而在代碼支撐起的架構平臺,由于占據(jù)的信息和技術資源不對等、支配技術的能力不均衡,網(wǎng)絡平臺商與應用軟件開發(fā)商之間,呈現(xiàn)出不平衡的權力樣態(tài)。應用軟件開發(fā)商必須借助于平臺控制者所提供的技術手段以及所設定的交易規(guī)則實現(xiàn)數(shù)字交易,因此,雖然平臺商不直接對接用戶,但在個人信息的占有和調(diào)度上處于核心和支配地位,在由算法權力支配的瞭望塔中,由此坐上了“第一把交椅”。

此外,由于占據(jù)著海量的個人信息,平臺商就有更大可能根據(jù)既有的數(shù)據(jù)信息推測出用戶的消費傾向,在信息資源的挖掘利用上,仿佛擁有了“上帝視角”,可以更快地找到整張版圖中缺失的、最為關鍵的一塊拼圖,也就更加清楚地知道將在哪塊地表鉆取數(shù)據(jù)“原油”。除此之外,面對更有價值的個人信息,平臺商甚至可以直接要求調(diào)取應用軟件開發(fā)商的數(shù)據(jù)庫,或是直接出動自己的鉆機來訪問。

以代碼為代表的技術資源,通過對海量信息的占有、對技術知識的掌握、以及對技術規(guī)則的支配,將優(yōu)勢資源轉(zhuǎn)化為對個體行為的支配、控制與影響,但是這樣的權力運行也可能跳脫架構師們的控制,落入算法黑箱。這是因為,各種與個人生活息息相關的選擇、評價和決策,一旦被編碼并封裝到復雜而不可思議的算法之中,就可能因為后續(xù)的錯誤修復與調(diào)整而多次迭代,致使作為代碼控制者的架構師們也往往很難理解其中的價值內(nèi)涵,從而陷入了某種“技術無意識”的狀態(tài),算法本身就化作了一股影響人和社會的不可思議的神秘力量,被運用到現(xiàn)實實踐之中,對主體形成規(guī)訓。

4.虛擬關系的精神控制:主體的馴化與異化

全景敞視建筑之所以能夠產(chǎn)生“精神對精神的作用”,不是依靠“鐵柵、鐵鐐與大鎖”,而是來自中心瞭望塔的“可見而又無法確知”的監(jiān)視,這種匿名的、虛擬的關系自動地產(chǎn)生出一種真實的征服,使得被監(jiān)控者逐漸放棄了“越軌”的念頭。

基于“日常生活信息構建的虛擬后臺”的運作方式,不僅“能夠減少行使權力的人數(shù),同時增加受權力支配的人數(shù),權力在任何時刻進行干預,甚至在過失、錯誤或者罪行發(fā)生之前就不斷施加壓力”。算法和數(shù)據(jù)能夠基于用戶已經(jīng)公開的碎片信息中推測出未經(jīng)用戶同意公開的意愿與傾向,對個人進行所謂“畫像”,這其中包括基于既有行為對未來罪責的預測與懲罰。“罪犯在實施犯罪前就已受到了懲罰,人們不是因為所做而受到懲罰,而是因為將做,即使他們事實上并沒有犯罪”。這會使未來社會處于看似“防患于未然”,實則極其危險的境地,因為“基于未來可能行為之上的懲罰是對公平正義的褻瀆”,“也將會讓人們惶恐不安,因為這否認了自由意志,并傷害了人類尊嚴”。

隨著數(shù)據(jù)的日益累積、算法設計的不斷升級,人的身體逐漸被技術所穿透、被數(shù)據(jù)所型構,人的行為甚至意識能夠被算法所“窺視”,這其中甚至包括依賴激情、欲望、感覺等抽象觀念來決定的情感地帶。有報道稱,如今在美國,每6對決定結(jié)婚的夫婦中,就有一對是通過OkCupid等約會網(wǎng)站或App認識的,他們的會員平均會回答大約300個問題,算法被運用到這數(shù)百個問題和千百萬用戶中,這款軟件的創(chuàng)建者們認為,算法,而不是宿命,能夠幫人們找到真正的靈魂伴侶。除了讓用戶填寫大量的個人信息,約會軟件的算法正在向更加智能的方向發(fā)展——當用戶覺得對方合眼緣,就會點贊或者往右滑動照片,沒有興趣則往左滑,如何兩個人恰好彼此一致地完成了上述操作的話,就能夠搭話了；或者用視頻交流取代簡單的照片,如果軟件能夠識別你和談話對象的手勢、表情、某個口頭禪或是某個小動作,它可能能夠通過一次短暫的交談,幫助用戶識別出合適的約會對象。

如果說,用戶的照片、簡介里的文字這些屬于傳統(tǒng)意義的個人信息,那么,兩人同時做出的滑動屏幕的行為,這幾乎就是個人在“無意識狀態(tài)”下自動發(fā)出的“生物信號”了,在這樣的背景下,算法通過捕捉這些生物特征信息,擁有了深入探測用戶思維活動和心理狀態(tài)的可能。這意味著,意識可以從身體中抽離,被算法拿去計算與實驗,進而實現(xiàn)控制。因此,當越來越多的個人信息失去控制,意識與主體相抽離,并被算法重新建構之時,“算法真的比我更懂我？”“我如何成為我？”所指向的,是新一輪信息技術浪潮下,數(shù)據(jù)庫話語構筑的全新控制范式之中,人們?nèi)找婕由畹漠惢Ь场?/p>

四、結(jié)語

“任何一次技術革命的背后,實際上都是一種主體性質(zhì)的觀念革命,在這個過程當中也一定會產(chǎn)生新的社會呼喚”。以個人信息為載體,人工智能時代的監(jiān)控與權力呈現(xiàn)出不同以往的形態(tài)與路徑,這些差異涉及我們?nèi)绾蝿澏ㄐ畔⑦吔纭⑷绾未_立權力秩序、如何進行主體建構。如果我們將現(xiàn)在歸于人工智能的發(fā)展初期,代碼規(guī)制依然嵌套于現(xiàn)實世界的游戲法則,防止這種新型權力的肆意擴張、逾越邊界,必須對其進行“可追責、可驗證、可訪問”的規(guī)制；必須為弱勢個體賦權、賦能,讓其不僅僅是這張網(wǎng)格中經(jīng)受權力的節(jié)點,同時也是能夠運用權力的節(jié)點。

再往前一步,倘若未來機器算法通過基于深度學習與自我訓練,完成參數(shù)調(diào)整與模型構建,進而在一定程度上能夠?qū)崿F(xiàn)自我生產(chǎn),意識、想法、信念等個人信息可以完全脫離身體,或者寄居于某個“虛擬身體”時,權力規(guī)制以及主體建構的議題或許就該變成:這些來自于主體、卻又不受主體控制的數(shù)據(jù)、信息和算法,作為某種客觀存在,如何在多維時空與宇宙萬物間進行權衡較量、如何維持能量守恒的問題。

注釋:

① [英]安東尼·吉登斯:《現(xiàn)代性的后果》,田禾譯,譯林出版社2011版,第115頁。

⑤⑥ 彭蘭:《萬物皆媒:新一輪技術驅(qū)動的泛媒化趨勢》,《編輯之友》,2016年第3期,第5、9—10頁。

⑨ 《〈人類簡史〉作者新作〈冠狀病毒之后的世界〉(中英雙語)》,CambCC微信公眾號,https://mp.weixin.qq.com/s/Axn97GVmBqtMm4nclqaWeQ,2020年4月2日。