“易碎”的智能與“撕裂”的世界
——西方主要社交媒體“仇恨言論”的界定、規制與算法困境

□卞 清 陳 迪

【導 讀】當前，全球性的網絡仇恨事件頻發，同時科技公司的內容過濾與言論監管策略成為爭議焦點。本文通過梳理西方主要社交媒體對于仇恨言論的界定、規制與算法困境，認為當前互聯網公司正在代替國家/政府，成為規制仇恨言論的主要行動者，并且可能進一步卷入全球政治的動態變遷中，加劇與國際政治體的摩擦，而算法識別的未來則關涉了關鍵的全球政治想象。

一、言說“仇恨/憎恨”：從古老概念到全球性問題

（一）仇恨/憎恨言論的前生今世

“仇恨言論”（Hate Speech）也被譯為憎恨言論，這一概念自古就存在于西方社會。早在希臘古典時期，仇恨言論就被看作一種非理性的暴力行為，對公共性有害，會引發社會對立與矛盾，危害民主，有損公民美德。《圣經·舊約》中也談到，“仇恨引起爭端”，由此“智者要慎于言”。從20世紀中葉開始，由于“二戰”所引發的種族仇恨、性別與移民歧視等問題日益突出，西方社會對于仇恨言論的關注越來越多，國家（state）逐漸成為界定和規制（regulation）仇恨言論的主要行動者。如朱迪斯·巴特勒（Judith Butler）所說：“國家（The state）作為積極的行動者生產、劃定了可以被接受的公共言論（publicly acceptable speech）范圍，區分了什么是可說的（speakable）和不可說的（unspeakable）。”［1］

但是，由于與言論自由理念相對，長期以來國家是否有權力來限制仇恨言論以及在什么范圍內是合理的限制一直被不斷爭論。國家對仇恨言論的界定尺度被認為反映了言論自由的邊界。［2］仇恨言論是一個與政治、哲學、倫理、社會文化纏繞交織、不斷界定中的概念，它依據社會情境、歷史以及文化價值觀的變動而變化，在不同社會環境下容忍度也不同，至今也沒有統一定義。從全球比較來看，相對來說，歐洲國家態度趨于保守，美國則寬容開放。除此之外，一些國際社會組織也在仇恨言論的界定與規制中扮演呼吁與倡導的中間人角色。

歐洲的保守態度與第二次世界大戰所帶來的社會陰影與傷痕密切相關。這場戰爭使得仇恨言論問題越來越顯著，很多國家遭遇了激烈的跨文化、跨民族的沖突挑戰，如納粹德國引發的種族仇恨以及對戰后移民的歧視與仇視等，因此很多歐洲國家采取的策略是將仇恨言論納入正式的立法范圍。［3］比如，1986年英國制定的《公共秩序法》。而德國為了祛除法西斯主義的遺產，更為保守，將仇恨言論作為一種犯罪事實明確納入德國《基本法》《刑法典》《民法典》之中。相對來說，美國對仇恨言論則長期保持寬容和開放的態度。這是因為基于《第一修正案》，言論自由作為一種最根本的意識形態與美國的民主政治制度、立國之根本價值觀緊密相嵌。所以長期以來，在美國的主流價值觀中，仇恨包括政治極端言論都不被國家或者法律干涉，因為這種對言論的寬容和自由被看作從根本上體現了美國體制的優越性，是一種美國式的“美德”。如李·卡羅爾·布林格（Lee C.Bollinger）所說：“美國作為極度崇尚自由的國度，應當允許人們自由發表或接觸甚至是極端的言論……這種寬容與自由的美德是美國社會最重要的美德。”［4］直到9·11事件發生以后，有關仇恨與極端言論的問題才真正在美國引發關注和討論，但仍然非常有限，國家并不會輕易主動參與其中。2019年，美國白宮就表示，美國將與各國政府共同打擊網絡恐怖主義，但不能支持新西蘭和法國發起的“克賴斯特徹奇呼吁”，因為對言論自由持有“更多絕對主義的立場”。［5］主張“寬容”態度的美國既不認同網絡仇恨言論的規制治理，也沒有與網絡仇恨言論相應的法律。［6］美國政府對于自身不可能是言論規制者（regulation）也絕不會是審查者（censorship）的角色定位小心翼翼。

此外，一些國際組織以及區域性的政治體也會根據區域內的共性問題制定一些國際條例，比如，《歐洲人權公約》《消除一切形式種族歧視國際公約》《公民權利和政治權利國際公約》等，但它們更多以“倡導”“倡議”“公約”“呼吁”的形式出現。歐盟是在仇恨言論規制領域最為積極的政治組織之一。而它主要以發起“反仇恨言論運動”（no hate speech movement）［7］為形式，倡導和呼吁各方和公眾共同行動與合作。

（二）網絡仇恨：日益凸顯的全球現實

進入新世紀后，隨著互聯網技術的發展以及社交媒體時代的到來，再加上仇恨言論界定、規制仍然模糊困難，網絡仇恨的問題越來越顯著，并迅速成為當前全球爆發的最突出的現實問題之一。

首先，互聯網上的仇恨言論包裹在海量、匿名、跨越國界的互聯網內容海洋中，同時呈現多語言、多形態的樣貌，還結合了表情符號、圖像、音視頻等，內容越來越隱晦、抽象、符號化，給計算機快速識別造成了極大困難。其次，互聯網的跨國性更有利于個人和組織游離與回避本國政府監管，因此短短數年間全球出現了大量仇恨網站。根據西蒙·維森塔爾中心（The Simon Wiesenthal Center）的統計，早在2000年，全世界就有2300多家“有問題”的傳播仇恨信息的網站，其中包括500多家歐洲人創辦的極端分子網站，都寄住在美國的服務器上，以逃避歐洲的反仇恨法律。［8］隨后在短短的10余年間，推廣仇恨與恐怖主義行為的網站、論壇和社交媒體賬戶就突破了30000個。［9］最后，由于全球政治近年來的不穩定、民粹主義抬頭、各類社會運動以及新冠肺炎疫情的暴發，全球網絡仇恨迎來新的井噴。根據Facebook的統計，自2020年年初以來，網絡仇恨進一步呈現出極度上升的趨勢，特別是與新冠肺炎的緊張局勢有關的仇恨、反亞洲言論、性別與種族歧視、煽動內亂、暴力、黑人運動、恐怖主義以及極端行動，甚至2020年總統大選、特朗普卸任引發的國會山事件，等等。Facebook 2020年第四季度的統計顯示，目前在Facebook上平均每一萬次內容瀏覽，就會有7～8次能看到仇恨言論。［10］

互聯網不再適用于單一國家規制，那么究竟應由誰來決定全球性、跨國界的社交媒體平臺中哪些內容是“仇恨言論”？這些內容是否應該被監管和規制？誰來監管？原有的國家法條與規制方案是否還適用？本文的看法是，在這種不確定中，互聯網科技公司代替國家，成為主要行動者。網絡仇恨的規制由國家作為主導行動者轉向了由互聯網科技公司進行處理。這使得問題的討論范疇從政府以及立法的領域轉變成了行業規則與公司責任，爭議更多開始圍繞高科技公司的企業道德、壟斷與權力、算法倫理、人工智能研發能力及其有限性等問題展開。同時，由于全球主要社交媒體平臺大多在美國，因此美國憲法以及言論比較寬松的社會文化與法律體系環境導致目前對網絡仇恨言論的界定與規制處于灰色地帶之中。基于美國政治價值觀下的幾大互聯網巨頭們自擬的公司條例（company policy）和平臺法（platform law）成了主要執行的全球網絡言論評判規則，但這些規則的最后都有一條相同的話語，那就是“解釋權歸企業所有”。因此，本文通過梳理與評析當前西方主要社交媒體巨頭們對于“仇恨言論”的界定、規制與算法困境，期望更好地解釋與反思當下全球網絡仇恨的基本面貌與現實困境。

二、作為行動者的科技公司：全球主要社交媒體的實踐策略

（一）Facebook：界定不斷修正與補充

作為全球最大的社交媒體平臺，Facebook很早就開始在公司條例中努力明確仇恨言論的界定。但實際是這個概念被迫不斷補充和修正，其范圍根據新的爭議事件和社會輿論反應而擴大。比如，2019年Facebook的公司條例中注明：“我們將仇恨言論定義為基于受保護特征——種族、民族、國籍、宗教信仰、性取向、種姓、性別、性別認同以及嚴重疾病或殘疾——對人的直接攻擊。我們還為移民身份提供了一些（some）保護。”

這個定義包含了9種特征，比大多數國家和政治組織的定義要更為寬泛，但仍然被外界指責為是不全面的、有偏見的、忽略弱勢群體的。特別是它沒有將有關移民的仇恨言論納入其中，引發了來自歐洲國家的不滿。移民歧視一直是歐洲國家比較關注的社會問題，比如，在英國法律中，發表對移民者的仇恨言論是屬于法律犯罪的內容；在歐盟委員會的定義中，仇恨言論也被明確定義為“傳播、煽動包含侵略性民族主義和民族優越感的種族仇恨以及仇外心理，是對少數民族、移民等的歧視和敵意”［11］。因此，在各方壓力下，Facebook自2020年起修改了仇恨言論的定義，表明將對移民身份提供“明確的”（certain）保護，又在2021年1月大范圍修改條例，加入了對“難民、移居者和尋求庇護者”的保護：

我們將仇恨言論定義為基于受保護特征——種族、民族、國籍、殘疾、宗教信仰、種姓、性取向、性別、性別認同以及嚴重疾病——對人的直接攻擊……當年齡指涉向另一個受保護特征時，我們考慮將年齡也作為一個受保護特征。我們也保護難民、移居者、移民和尋求庇護者免受最嚴重的攻擊，盡管我們允許對移民政策進行評論和批評。類似地，當一些特征，如職業，指涉向另一個受保護特征時，我們也提供相應的保護。［12］

但是，補充和擴展定義仍然不能囊括現實中出現的各類爭議性事件，為了避免身陷麻煩之中，Facebook只能不斷更新條例應對外部變化。2019年3月Facebook宣布監管和刪除“白人至上主義言論”（supremacist content）；2019年5月Facebook宣布對幾位違反禁止仇恨言論規定的知名人士實施禁令，包括亞歷克斯·瓊斯（Alex Jones）、路易斯·法拉肯（Louis Farrakhan）、勞拉·盧默（Laura Loomer）等；2020年，Facebook進一步增加指導原則，禁止將黑人面孔與動物進行種族比較、種族或宗教刻板印象、否認歷史事件、物化女性等。在被動應對的同時，Facebook面對的卻是越來越快速擴張的網絡仇恨。2020年Facebook和Instagram檢測刪除的仇恨言論同比增加數倍，僅在2020年第二季度，Facebook和Instagram上的仇恨言論就分別被刪除2250萬條和330萬條。仇恨言論已經成為Facebook當前需要解決的最主要問題之一。

此外，Facebook還面臨著言論管控權力過大的批評。根據《華盛頓郵報》的報道，在2016年美國大選期間，Facebook的CEO馬克·艾略特·扎克伯格（Mark Elliot Zuckerberg）對特朗普的態度發生了前后不一致的變化，隨著特朗普越來越有望入主白宮，Facebook開始順從特朗普。［13］但2019年12月19日，在特朗普被美國國會發起彈劾后的第二天，Facebook悄然對其仇恨言論政策進行大量更新，比如，不再允許用戶發布“把人比作動物或物品有關的比喻”［14］。而到了2020年總統大選臨近時，Facebook卻對大量煽動言論采取了不干預措施。直到2020年11月，Facebook因國會山騷亂事件宣布永久關閉特朗普社交賬號又引發爭議。諸如此類的事件使得技術巨頭（Big Tech）公司被指責為新型的壟斷寡頭。如《華爾街日報》認為，隨著Facebook影響力與日俱增，其關于仇恨言論、虛假信息、政治廣告等政策爭議性越來越大，政治嗅覺成為CEO扎克伯格要掌握的一項必備能力，他已然成為一位活躍的政治操盤手。［15］甚至一些國家元首與政治家們也開始站出來批評，認為科技公司展現出超越國家的權力，指出當前言論的性質界定、邊界劃定與價值觀體系直接被這些科技公司握在手中。

同時，即使像Facebook這樣的行業巨頭，其在網絡仇恨與極端言論的識別方面仍然面臨技術困境與巨額成本壓力。面對服務器上快速聚集的海量內容，它一方面必須投入大量精力和財力進行人工智能系統研發，希望借助智能識別快速處理；另一方面則只能承認網絡語言符號的復雜性、算法的有限性以及人工智能的不完美，仍然需要借助大量的人工識別。目前，有統計稱Facebook至少在全球雇用了1.5萬名內容審閱人來完成這項工作。［16］

（二）Twitter

與Facebook不同，Twitter一直回避定義“仇恨言論”，而創造了一個“仇恨行為”（Hateful Conduct）的概念作為用戶協議中的條例內容。其對“仇恨行為”的界定為：“用戶不允許做出針對、直接攻擊或暴力威脅他人的種族、民族、國籍、種姓、性取向、性別、性別認同、宗教信仰、年齡、殘疾或嚴重疾病的行為。”［17］

Twitter于2015年3月宣布屏蔽報復性色情內容，4月宣布屏蔽煽動恐怖主義，或以種族、民族、國籍、宗教、性取向、性別、性別認同、年齡或殘疾為由攻擊他人的言論。但借助仇恨行為的概念，Twitter辯解稱他們封殺的不是“言論”，而是“行為”。因此冒犯性的內容仍然允許被發布，而如果仇恨言論指向某個具體的用戶才構成“仇恨行為”。［18］同時，Twitter又創造了一個新概念為“非人類言語”（Dehumanizing Policy）：即將他人視為不如人的言論。當試圖剝奪他人的人性品質（獸性非人化）或人類本質（機械性非人化）時，就會發生非人言語。例如，將一些群體與動物和病毒進行比較，或者將群體簡化為非人類的工具。［19］

Twitter回避定義仇恨言論的做法受到了一些批評。比如，有學者認為它的指導原則與定義模糊、過于寬泛，用戶也長期抱怨規則的不一致和無效，不能保護相關群體免受騷擾。而CEO杰克·多西（Jack Dorsey）辯解稱：“Twitter只是一個通信工具，不擅長判斷個人之間的內容糾紛。”Twitter的用戶言論規制以用戶主動舉報和大眾標簽為主，其系統篩查主要依賴人工，并且引入基于圖像的有害內容AI自動識別系統。這個系統會提示用戶內容有可能有害，但由用戶來選擇是否繼續觀看內容，同時用戶也可以自己標注內容是否有害。有批評指出，Twitter接到舉報后常常就是封號了事。這種中立態度顯然加速了Twitter用戶尤其是受語言暴力最為嚴重的名人和意見領袖的流失，直接導致Twitter內容生態的萎縮。［20］2015年時任Twitter首席執行官的迪克·科斯特羅（Dick Costolo）在一場內部論壇中表示，該公司失去眾多用戶的原因是其社交平臺上存在太多“網絡噴子”（troll）。［21］

（三）YouTube、Reddit、TikTok

對網絡仇恨的態度和政策直接與互聯網企業的商業形象對等。即使像Facebook和Twitter投入很多精力在言論規制，仍然面對大量的指責、批評和外部壓力。而研發與管理反應較慢或是無主動作為的互聯網公司則更被看作是“不負責的”“有罪的”實體。

比如，YouTube就曾因為在言論監管層面的不主動而受到猛烈批評，被認為它已經“從一個單純的視頻分享網站、新聞資訊娛樂網站變成了傳播極端觀點、錯誤信息的平臺”［22］［23］。在輿論壓力之下，You-Tube僅在2018年就進行了超過30次的條例更新［24］，隨后在短期內將每日清理仇恨言論的數量增加了46倍，關停了大量涉及仇恨言論的頻道［25］，直至2019年它的仇恨言論政策已經列出了11個受保護人群特征，包括“退伍軍人身份”。但是由于視音頻內容識別與過濾的難度更大，因此YouTube至今仍然因無法及時識別與過濾仇恨內容而面對大量批評。還有研究人員表示，大量的仇恨言論清理行動不足以證明YouTube在該問題上的努力程度，“因為YouTube的仇恨言論問題不一定與數量有關”［26］。一份研究報告認為，YouTube在很多方面激勵了極端主義內容的傳播，它“貨幣化所有人的影響力，不論他們的信仰體系多么有害”［27］。此外，它仍然無力以智能算法為主要識別工具，而是更多依賴由用戶來報告危險或濫用的內容，同時所有的這些報告再經過人工的定性審查。

社交新聞社區Reddit曾在2015年采取了一項新的內容政策，并禁止了幾個明顯帶有種族主義色彩的板塊。但長期以來，Reddit一直因對種族主義內容清除不力而飽受批評，被稱為互聯網上“最暴力的種族主義”內容所在地，讓人見識到“網絡中最黑暗的角落有多可怕”。［28］甚至Reddit前CEO鮑康如（Ellen Pao）公開譴責該平臺“整天培育和貨幣化白人至上主義和仇恨”［29］。2020年，數百名Reddit版主聯名向Reddit董事會和CEO史蒂夫·赫夫曼（Steve Huffman）發出公開信，要求修改平臺的仇恨言論政策。［30］當時正值“黑人的命也是命”（Black Lives Matter）抗議活動愈演愈烈，Reddit聯合創始人亞歷克西斯·奧哈尼安（Alexis Ohanian）也因抗議宣布離職，并希望將職位移交給黑人。隨后，在輿論重壓下，Reddit于2020年6月末更新了內容政策，明確禁止宣揚仇恨，并封禁了2000多個討論板塊。赫夫曼同時承認，在過去很長一段時間里，這條規則被故意設計為隱性的，由此“造成了各種各樣的混亂和問題”［31］。這一舉措意味著Reddit在平臺言論政策上的重大轉變。

再如TikTok（抖音國際版），也因為缺乏明確的仇恨言論指導規范和內容規制辦法而受到來自全球各界的批評。一方面，純娛樂、純視頻分享、純平臺的互聯網企業“人設”在美國社會不被接受；另一方面，隨著仇恨言論對兒童的潛在危害受到關注［32］，以青少年為主要用戶的TikTok越發引起學界和業界的關注、批判。有研究指出，各類恐怖組織、極端集團都在利用TikTok傳播仇恨言論，未成年人易受到影響。［33］由于應對仇恨言論不力，沒有提供足夠的機制保護未成年人，Tik-Tok被想象為生產與寄生邪惡的本源。比如，頻頻被指出平臺存在“納粹問題”［34］和“白人至上主義問題”［35］，是“一個新的仇恨言論雷區”［36］。在批評聲中，TikTok加快了規制仇恨言論的腳步，應用算法來標記和刪除有害內容，但同時也在全球雇用了超過1萬名人員從事信任與安全工作，其中很大一部分人正負責審核平臺的上傳內容。［37］

（四）走在“十字路口”的科技公司

至此，我們可以總結一下科技公司所面臨的現實情況。

第一，由于無法用單一國家定義來界定，因此企業必須對網絡仇恨言論進行重新定義與改寫，以實現在技術上可以被操作與執行的“精確定義”，提高算法精度，劃定識別范圍，減少糾紛與爭議。但它帶來的結果是企業之間的情況不一，無法統一，監管網絡仇恨言論的行業共識難以形成。

第二，應對網絡仇恨言論的能力已經與企業形象、政治與商業風險直接掛鉤。言論規制失敗或者不作為會造成企業形象的崩塌。但是企業自身的成本與收益計算、算法的研發實力等因素影響了其行動策略。研發實力以及平臺技術結構的差異部分決定了企業主要采用人工還是自動識別系統。

第三，科技公司面臨國家與政治組織的外部壓力，這使得國家、公眾與科技公司之間可能會不斷出現摩擦。面對網絡仇恨，國家從直接監管公民言論變成了國家監管互聯網企業，再由互聯網企業來監管用戶言論的模式，因此國家的行動更多針對科技企業而展開。比如，2018年德國正式實施《網絡執行法》，對處理虛假新聞和仇恨言論不力不當的社交網絡平臺進行規制，最高可處以5000萬歐元的罰金；2016年歐盟頒布新準則，規定對24小時內無法處理仇恨言論報告的網站處以罰款。這都是由國家監管企業的模式來推動科技公司承擔責任。

第四，主要互聯網企業根植于美國，受美國言論自由的價值觀影響，是否應該對網絡言論進行規制（Regulation）仍在爭議中，企業面臨權力過大、對公民自由言論進行非法審查（Censorship）的批評與指責。

總之，正如有媒體報道中所說，科技公司們正走在“十字路口”，處于兩難的“囚徒困境”。他們面對來自各個國家對于仇恨言論尺度不一的文化與法律差異，努力宣稱自己為政治中立者與技術服務商，以應對巨大的政治風險與廣告商壓力。2020年10月28日，三大社交媒體Facebook、Google和Twitter的首席執行官出席美國參議院聽證會，否認自身在對用戶言論做內容審查（Censorship），而稱之為內容審核（Moderation）［38］，反對撤銷《通信規范法》第230條，即互聯網科技公司無須對用戶在其平臺上發布的內容承擔責任，從而免于相關法律訴訟的條例。他們都表達出了期望科技公司不再是眾矢之的，而應由用戶和政府來界定言論合法性問題。比如，扎克伯格希望Facebook在制定內容審查的規則方面盡量少地發揮作用，期待聯邦政府為互聯網科技公司制定明確的內容評判標準。Google首席律師肯特·沃克（Kent Walker）在2019年6月的一篇博客文章中說，政府應該明確界定什么樣的網絡言論是合法的，什么樣的網絡言論又是非法的。Twitter首席執行官杰克·多西則希望賦予用戶更多的內容算法控制權限，讓他們能夠更好地自行控制他們所看到的內容。［39］

三、網絡仇恨的智能識別：算法的爭議與偏見

除卻制定仇恨言論總體策略的困擾，互聯網公司還面對著每日大量的識別、過濾、清洗仇恨言論的煩瑣工作。因此，以自動化語言識別（Automated Content Recognition）為基礎的人工智能技術很早就被引入仇恨言論的規制中，它的研發正在耗費互聯網企業的巨額成本，同時還面對著算法的爭議，即人們對于計算機識別人類仇恨的質疑以及算法代碼中所隱含偏見的爭議。

（一）尚不完美的人工智能：“必要”“精確”又“易碎”

智能技術能解決人類語言意義的識別問題嗎？用人工是不是更準確？很多批評意見認為，人工智能不是判別仇恨言論的有效方式，因為該系統缺乏人類所擁有的情感和判斷技能。而對科技公司來說，面對海量而又極其繁復的用戶言論進行識別、過濾以及規制是一個需要計算成本、識別精確度、平衡考慮企業研發能力與經濟收益的事情，他們在這個問題上陷入兩難。

這也使得人工智能在科技公司的公共言說中被不斷描述和想象成為是“必要”“精確”但又同時是“易碎”的，它尚不完美，但一直在快速進步。企業不斷強調AI運用到仇恨言論識別的重要性和必要性。比如，Facebook努力宣稱自家智能識別技術水平一直在快速進步，它會在用戶舉報之前主動刪除大部分仇恨言論，而主動識別對于減少仇恨言論所帶來的傷害有重要意義，因此使用AI識別“十分必要”。Facebook在2020年第四季度報告里稱，單季度約97%/95%的Facebook/Instagram上的仇恨言論是通過主動識別刪除的——數據顯示這一切都得益于AI的進步。

但另一方面，現實的數據并不那么穩定和樂觀。2018年Facebook的數據表明，AI系統能夠刪除99%的恐怖主義宣傳內容、96%的裸體內容，但對仇恨言論識別只有52%。［40］同年Twitter發布了一個名為Exploring Online Hate的面板工具，能夠通過1000個Twitter賬戶的樣本來尋找仇恨行為的規律、趨勢，然后利用算法生成更大的數據集，從而實時掌握網絡上仇恨言論，控制相關的熱門話題和言論來源。但截至2019年7月，Twitter只有38%的有害內容是由算法自動篩選出的。與識別效率較低相應，還有錯誤識別。比如，Facebook算法曾經出現烏龍，錯把《獨立宣言》當作仇恨言論刪除。［41］因此，企業一方面投入大量財力、人力進行AI開發，強調人工智能識別可以非常“精確”，但同時又不斷強調算法的有限以及面對復雜人類語言系統時的脆弱與“易碎”，將爭議事件歸于“尚不完美”的人工智能。比如，Facebook的CTO在2019年表示：“我們之前的人工智能識別系統已經非常精確，但是如果你改變其中一小部分，它們就非常脆弱，即使是很小的變化也會破壞它們。”［42］AI的脆弱之處在于它解決了目前出現的一種仇恨言論模式，但可能又無法解決新的仇恨言論形態。比如，一篇新的仇恨言論可能不像以前的例子，因為它引用了一種新的故事結構。這取決于科技公司分析多種語言、捕捉特定國家趨勢的能力，以及如何定義仇恨言論的能力。因此Facebook承認人工智能識別的進步趕不上網絡仇恨言論語法與內容結構更新的速度。比如，從純文本識別，到圖像與音頻識別，再到目前出現的多元復雜語言結構（比如，文本+圖像構成仇恨內容）。Facebook甚至公開宣布發起“仇恨模型算法挑戰”（Hateful Meme Challenge），誰能夠寫出讓AI自動識別多元仇恨言論的算法代碼，將獲得10萬美元的獎金。

除了自主研發昂貴的AI系統，大多數科技公司仍然以人工識別為主，雇用大量的人力作為內容審閱人，同時人工審核常常需要訂制化。比如，Facebook為應對德國政府對仇恨言論的審查要求，聘用了1200名員工及合作商針對性審查德國用戶發布的仇恨言論。此外，全球多語言的環境以及計算機語言符號的文本編碼等差異還對機器學習與識別造成了很多困難。比如，Unicode編碼是全球行業標準，但緬甸超過90%的電話都使用僅用于顯示緬甸語的Zawgyi編碼，這意味著使用Zawgyi手機的人無法正確閱讀以Unicode編寫的網站、帖子或Facebook幫助中心說明。［43］因此在緬甸相關項目上，Facebook不得不組建內容審核小組。截至2018年6月，Facebook聘請了60多名緬甸語言專家在審核內容，并在持續增加人手。同時，隨著科技公司在全球雇用人工審核人數的不斷增加，與之相應的勞動力剝削、勞工糾紛也開始出現。在2020年新冠肺炎疫情期間，由于網絡仇恨的井噴，Facebook要求人工審核員提前返回工作崗位。200名內容審核員簽署了一份公開請求，要求Facebook公司承諾采取措施以更好地保護他們在疫情期間的人身安全。在那封信中，審核員表達了他們工作的價值和重要性：“人工智能無法勝任這項工作。很多重要言論被Facebook的AI過濾器沖走了，而像自殘這樣的危險內容卻沒有被過濾掉。”［44］

（二）看不見的算法“黑箱”：原罪、偏見與反制

在計算機學界，算法也被比喻為“黑箱”。它指的是一個數據從輸入到算法審判輸出的過程就像是穿過一個不透明的、未知的黑色箱子。我們無法像旁觀、理解、回溯、糾正和監督法律程序那樣來觀察和監管整個算法處理過程。人們無從得知算法的目標、意圖以及規則，也無法得知算法設計的背景與內容。這種信息不對稱也使得算法邏輯被批評為是一種可怕的、看不見的權力。

在日益凸顯的全球網絡仇恨噴發的現實場景中，互聯網和算法因此常常被想象為一種“原罪”，是它容忍、寄生甚至生產、推動了人類社會的撕裂與仇恨。比如，認為是互聯網賦予個人說出恐怖言論的能力，因為當人們不用處理自己言論的后果時更容易表達仇恨。也有觀點認為，算法提供了仇恨被不斷增強和再生產的條件。算法通過機器學習不斷產生信息繭房效應，使意見的極化特征日益突出，互聯網正在扮演“仇恨放大器”的角色。［45］2016年，Facebook研究員兼社會學家莫妮卡·李（Monica Lee）發現，在Facebook上加入極端主義組織的用戶，近2/3（64%）是由Facebook的算法推薦的，這意味著該網站的推薦系統在社交媒體用戶中“加劇了極端主義問題”。［46］2018年，美國著名科技媒體《連線》雜志發表深度報道，通過采訪51名Facebook現任和前任員工，整理了Facebook最近兩年陷入危機背后的故事。公司CEO扎克伯格和他的員工發現，隨著Facebook的發展，這家社交平臺并未讓人們聚合起來，反而推動社會分裂，這讓他們的技術樂觀主義被逐漸粉碎。［47］

算法由人而創造，沒有中立的算法，算法中天然存在偏見。因此更多科學家指出算法的偏見實際就是體現了人類的偏見。算法黑箱通過看不見的規則識別、過濾、刪除符合仇恨定義特征的文本，卻“解釋權歸公司所有”，這使得大眾、算法邏輯、國家、科技公司之間始終在發生摩擦和爭議。很多研究和批評指出，算法本身就意味著歧視和偏見。現實中大量存在的種族、性別、少數群體的政治偏見幾乎被一一證明同樣存在于算法識別中。2019年Facebook公司的研究人員發現，Instagram用戶的活動軌跡如被算法識別為黑人，其賬戶被審查系統自動禁用的可能性比被識別為白人用戶的可能性高50%。［48］康奈爾大學一項研究通過分析Twitter數據集合發現，被算法判斷為非洲裔美國人撰寫的推文更有可能被標記為仇恨言論。［49］而有研究人員測試Google的AI工具Perspective時也發現，非裔美國人的推文被標記為具有攻擊性的可能性更大，意味著本應該保護少數/邊緣群體的算法功能反而潛在地擴大了對它們的危害。［50］值得思考的是，是什么造成了不同公司的識別系統中出現了較為相似的算法偏見？是行業性的人為偏見，還是人類社會本身既已存在的偏見被卷入在算法邏輯中成為黑箱的一部分了呢？事實上，由于算法基于對海量文本的機器學習而不斷更新，算法工程師也無法預知一些意想不到的結果。比如，在Facebook上搜索“我的女性朋友的照片”時，會產生諸如“穿著比基尼”或“在海灘上”的建議。相反，搜索“我的男性朋友的照片”時沒有搜索建議。［51］再如有報道指出，土耳其語中男性“他”和女性“她”沒有區分，統一用“o”表示。而谷歌翻譯工具在翻譯“o bir doctor”和“o bir hem?ire”時，會把前者翻譯成“他是一位醫生”（He is a doctor），把后者翻譯成“她是一位護士”（She is a nurse）。機器在學習數億數據和某些“社會規律”之后，算法“偏向”于把醫生男性化，護士女性化。［52］所以，算法黑箱輸出的究竟是什么呢？是既已存在的某個人類社會的隱藏腳本，還是被凈化和加工后的“美麗新世界”呢？

此外，在仇恨識別這場“貓捉老鼠”的游戲里，人工智能自身技術的提高還面臨著人類語言符號的不斷反制。芬蘭阿爾托大學的機器學習研究團隊通過攻擊如打錯別字的方式，成功躲過了七種不同的檢測仇恨言論的分類算法，每種算法都存在弱點，導致檢測機器難以識別這種反制措施。［51］面對關鍵詞屏蔽，部分用戶會使用其他文字、符號或“梗”對極端信息進行“加密”，使得信息難以被自動監控。［53］因此，反制算法識別的網絡語言文法也越來越多。

四、結論與反思

通過前文的梳理，我們可以看到，借由互聯網，“仇恨”突破了既往公開表達的主體和時空限制，從一個古老的概念迅速擴散為全球性的現實問題。我們越來越深刻地感受到，人類正生活在一個愈加撕裂的世界里。而在網絡仇恨越發泛濫的現實中，互聯網科技公司代替國家/政府，成為規制仇恨言論的主要行動者，并與國家、廣告商、公眾等不斷產生摩擦。從仇恨言論的界定，到仇恨傳播行為的規制，再到加強對仇恨傳播后果的預判，越發預示著科技公司可能進一步卷入全球政治的動態變遷中，這將加劇它們與國際政治體的摩擦。

而科技公司正處于“十字路口”，它們并不情愿卻依然成為“眾矢之的”。它們只能試圖在規避風險、計算成本與收益、重申企業價值觀與責任感、識別與審判言論性質、引導用戶自律等行動中取得平衡。而它們大多孤立，企業之間情況不一，如何規制仇恨言論尚無行業共識，大的科技巨頭承擔主要的壓力和示范角色。仇恨言論也從一個人文與政治哲學領域主要討論的抽象概念走向了一個操作層面由技術公司主導的每日需要面對的實際技術問題。

這個“具體操作”的一個方面就是科技公司不得不對仇恨言論做出精確定義，以便識別與管制。而它面臨著全球歷史、文化、意識形態的差異化現實，面對各個國家和政治體的治理要求和壓力，注定將不斷處于摩擦與拉扯之中。網絡仇恨言論問題凸顯著全球化過程中的文化沖突，而互聯網企業卻不得不扮演協調人角色，因此難免陷于泥潭。正如在印度有批評人士指出的那樣：“所有的互聯網平臺都缺乏進入我們市場的文化能力，對其內部動態的不穩定性缺乏清晰的認識。”［36］

操作化的第二個層面則體現在人工智能技術以及算法邏輯常常被想象為是控制人類仇恨情感的關鍵技術。人工智能的識別算法因“高效率”而為互聯網企業宣布為應對網絡仇恨的第一必需品，同時也隱含著科技公司節省成本、規避風險、表現技術中立的手段。但是，目前的現實情況是，算法仍然“很不完美”，雖精致但“易碎”，其不僅仍然存在著大量計算誤差的可能，還常因算法本身的“偏見”被批評為充滿“原罪”的“黑箱”，成為容忍、寄生甚至生產、推動了人類社會仇恨，使得世界愈加“撕裂”和對立的技術力量。在未來，基于成本與效率的考量，算法的研發提升依然會是科技公司規制仇恨言論的首要手段。如果科技公司在規制仇恨言論的過程中不斷靠近政治場域，那么算法識別的未來就關涉了關鍵的全球政治想象。科技公司正在成為某種非正式確認的政治體，在巨大的內容海洋中，掌握全球仇恨流動的方向。它們將如何開啟網絡世界中的新民主/新專制？

最后，回到一個最根本的問題，人類仇恨的引擎究竟在哪里？對此，在當前互聯網時代，有待細化探究的是，互聯網技術、算法規則與仇恨加劇之間的關系究竟是怎樣的？科技公司與政治體還會產生怎樣的角色變化？網絡仇恨問題的持續發酵也許將是觀察人類社會與技術互動的一個重要切入口。另外，仇恨的破壞性并不止于言說與傳播，仇恨同時被持續制造、記憶和傳承。因而面對網絡仇恨的井噴，同樣需要延展地思考，互聯網技術在多大程度上使得仇恨得以跨越時空？這對于人類社會的記憶與歷史書寫的深遠影響會是什么？當科技與人文在網絡仇恨問題上再次交會，人文的意義不會只是對科技的查漏補缺。回答以上這些問題既是對當前人類社會的運作投以疑慮和關懷，也是在努力叩問人文的當代意義與未來。

注釋

［1］BUTLER JUDITH.Sovereign Performatives in the Contemporary Scene of Utterance［J］.Critical Inquiry，1997，23（2）：350-377.

［2］COHEN-ALMAGOR RAPHAEL.JSMill’s Boundaries of Freedom of Expression：A Critique［J］.Philosophy，2017，92（4）：565-596.

［3］BROWN ALEXANDER.Hate Speech Law：A Philosophical Examination［M］.Abingdon：Routledge，2015：182.

［4］BOLLINGER LEE C.The Tolerant Society［M］.New York：Oxford University Press，1986：238.

［5］FOUQUET HELENE，VISCUSI GREGORY.Twitter，Facebook Join Global Pledge to Fight Hate Speech Online［EB/OL］.https：//www.bloombergquint.com/technology/2019/05/15/macron-ardernto-meet-twitter-facebook-google-onhate-speech，2019-05-15.

［6］趙玉現，胡春莉.網絡仇恨言論判別與治理探究［J］.信息安全研究，2019，5（11）：1021-1026.

［7］Council of Europe.No Hate Speech Youth Campaign［EB/OL］.https：//www.coe.int/en/web/no-hate-campaign，2021-03-17.

［8］PERINE KEITH.The Trouble with Regulating Hatred Online［EB/OL］.http：//www.cnn.com/2000/TECH/computing/07/25/regulating.hatred.idg/index.htm l，2000-07-25.

［9］Simon Wiesenthal Center.District Attorney Vance and Rabbi Abraham Cooper Announce the Simon Wiesenthal Center’s Report on Digital Terrorism and Hate［EB/OL］.https：//www.wiesenthal.com/about/news/district-attorney-vance-and.html，2014-05-01.

［10］FACEBOOK.Community Standards Enforcement Report［EB/OL］.https：//transparency.facebook.com/community-standards-enforcement#hatespeech，2021-02-11.

［11］Council of Europe.Hate Speech［EB/OL］.https：//www.coe.int/en/web/freedom-expression/hate-speech，2021-03-17.

［12］FACEBOOK.Community Standards［EB/OL］.https：//www.facebook.com/communitystandards/recentupdates/hate_speech/，2021-03-17.

［13］DWOSKIN ELIZABETH，TIMBERG CRAIG，ROMM TONY.Zuckerberg Once Wanted to Sanction Trump.Then Facebook Wrote Rules That Accommodated Him［EB/OL］.https：//www.washingtonpost.com/technology/2020/06/28/facebook-zuckerberg-trump-hate/，2020-06-29.

［14］WODINSKY SHOSHANA.Facebook Quietly Made a Ton of Updates Hours After Trump Got Impeached［EB/OL］.https：//gizmodo.com/facebook-quietly-madea-ton-of-updates-hours-after-trum-1840902512，2020-01-09.

［15］SEETHARAMAN DEEPA，GLAZER EMILY.How Mark Zuckerberg Learned Politics［EB/OL］.https：//www.wsj.com/articles/how-mark-zuckerberg-learnedpolitics-11602853200，2020-10-16.

［16］NEWTON CASEY.The Trauma Floor：The Secret Lives of Facebook Moderators in America［EB/OL］.https：//www.theverge.com/2019/2/25/18229714/cognizant-facebook-content-moderator-interviews-trauma-working-conditions-arizona，2019-02-25.

［17］TWITTER.The Twitter Rules［EB/OL］.https：//help.twitter.com/en/rules-and-policies/twitter-rules，2021-03-17.

［18］JEONG SARAH.The History of Twitter’s Rules［EB/OL］.https：//www.vice.com/en/article/z43xw3/the-historyof-twitters-rules，2016-01-14.

［19］GADDE VIJAYA，HARVEY DEL.Creating New Policies Together［EB/OL］.https：//blog.twitter.com/en_us/topics/company/2018/Creating-new-policies-together.html，2018-09-25.

［20］腦極體.面對Twitter，AI表示“真心帶不動”［EB/OL］.http：//www.woshipm.com/it/2571370.html，2019-07-11.

［21］TIKU NITASHA，NEWTON CASEY.Twitter CEO：“We suck at dealing with abuse”［EB/OL］.https：//www.theverge.com/2015/2/4/7982099/twitter-ceo-sentmemo-taking-personal-responsibility-forthe，2015-2-4.

［22］USCINSKI JOSEPH E.，DEWITT DARIN，ATKINSON MATTHEW D.A Web of Conspiracy？ Internet and Conspiracy Theory［A］.DYRENDAL ASBJ?RN，ROBERTSON DAVID G.，ASPREM EGIL.Handbook of Conspiracy Theory and Contemporary Religion［C］.Leiden and Boston：Brill，2018：106-130.

［23］OTTONI RAPHAEL，CUNHA EVANDRO，MAGNO GABRIEL，et al.Analyzing Right-wing YouTube Channels：Hate，Violence and Discrimination［A］.AKKERMANS HANS，FONTAINE KATHY，VERMEULEN IVAR.Proceedings of the10th ACM Conference on Web Science［C］.New York：Association for Computing Machinery，2018：323-332.

［24］The YouTube Team.Our Ongoing Work to Tackle Hate［EB/OL］.https：//blog.youtube/news-and-events/our-ongoingwork-to-tackle-hate/，2019-06-05.

［25］WEIGHT JOHANNA.Updates on Our Efforts to Make YouTube A More Inclusive Platform［EB/OL］.https：//blog.youtube/news-and-events/make-youtubemore-inclusive-platform/，2020-12-03.

［26］MARTINEAU PARIS.YouTube Removes More Videos but Still Misses a Lot of Hate［EB/OL］.https：//www.wired.com/story/youtube-removes-videos-misseshate/，2019-09-04.

［27］LEWISREBECCA.Alternative Influence：Broadcasting the Reactionary Right on YouTube［EB/OL］.https：//datasociety.net/library/alternative-influence/，2018-09-18.

［28］HANKES KEEGAN.Black Hole［EB/OL］.https：//www.splcenter.org/fighting-hate/intelligence-report/2015/black-hole，2015-03-10.

［29］COLLINSKATIE.Reddit Slammed by Former CEO Ellen Pao for“Amplifying”Racism and Hate［EB/OL］.https：//www.cnet.com/news/reddit-slammed-by-former-ceo-ellen-pao-for-amplifyingracism-and-hate-nfl-nba/，2020-06-02.

［30］DubTeeDub.Open Letter to Steve Huffman and the Board of Directors of Reddit，Inc-If You Believe in Standing up to Hate and Supporting Black Lives，You Need to Act［EB/OL］.https：//www.reddit.com/r/AgainstHateSubreddits/comments/gyyqem/open_letter_to_steve_huffman_and_the_board_of/，2020-06-08.

［31］ROOSE KEVIN.Reddit’s C.E.O.on Why He Banned‘The_Donald’Subreddit［EB/OL］.https：//www.nytimes.com/2020/06/30/us/politics/reddit-bans-stevehuffman.html，2020-06-30.

［32］SIMPSON ROBERT MARK.‘Won’t Somebody Please Think of the Children Hate Speech，Harm，and Childhood［J］.Law and Philosophy，2019，38（1）：79-108.

［33］WEIMANN GABRIEL，MASRI NATALIE.Research Note：Spreading Hate on TikTok［J］.Studies in Conflict&Terrorism，2020，1-14.

［34］COX JOSEPH.TikTok Has a Nazi Problem［EB/OL］.https：//www.vice.com/en/article/yw74gy/tiktok-neo-naziswhite-supremacy，2018-12-19.

［35］FUNG BRIAN.Even TikTok Has a White Supremacy Problem［EB/OL］.https：//edition.cnn.com/2020/08/14/tech/tiktok-white-supremacists/index.html，2020-08-14.

［36］CHRISTOPHER NILESH.TikTok Is Fuelling India’s Deadly Hate Speech Epidemic［EB/OL］.https：//www.wired.co.uk/article/tiktok-india-hate-speechcaste，2019-08-12.

［37］SHEAD SAM.TikTok Plans to Do More to Tackle Hateful Content after Reports Say It Has a“Nazi problem”［EB/OL］.https：//www.cnbc.com/2020/10/21/tiktoksays-it-plans-to-do-more-to-tacklehateful-content.htm l，2020-10-21.

［38］鄭峻.十字路口的互聯網巨頭：政治批斗、230條款和新自由主義［EB/OL］.https：//finance.sina.com.cn/tech/2020-10-30/doc-iiznezxr8860198.shtm l，2020-10-30.

［39］新浪科技.美國社交媒體巨頭的“囚徒困境”［EB/OL］.https：//mp.weixin.qq.com/s/W85e97eO5BnJAJFAkMSWuw，2020-11-23.

［40］ZUCKERBERG MARK ELLIOT.A Blueprint for Content Governance and Enforcement［EB/OL］.https：//www.facebook.com/notes/mark-zuckerberg/a-blueprintfor-content-governance-and-enforcement/10156443129621634/，2018-11-15.

［41］ROSENBERG ELI.Facebook Censored a Post for“Hate Speech”.It Was the Declaration of Independence［EB/OL］.https：//www.washingtonpost.com/news/theintersect/wp/2018/07/05/facebook - censored-a-post-for-hate-speech-itwas-the-declaration-of-independence/，2018-07-06.

［42］TARANTOLA ANDREW.Facebook Deploys AI in Its Fight against Hate Speech and Misinformation［EB/OL］.https：//www.engadget.com/facebook-aihate-speech-covid-19-160037191.htm l，2020-05-12.

［43］SU SARA.Update on Myanmar［EB/OL］.https：//about.fb.com/news/2018/08/update-on-myanmar/，2018-08-15.

［44］SCHIFFER ZOE.Facebook Content Moderators Demand Better Coronavirus Protections［EB/OL］.https：//www.theverge.com/2020/11/18/21573526/facebookcontent-moderators-open-letter-coronavirus-protections-demands-accenture，2020-11-18.

［45］常江.互聯網如何成了仇恨的放大器［J］.青年記者，2019，630（10）：94.

［46］HORWITZ JEFF，SEETHARAMAN DEEPA.Facebook Executives Shut Down Efforts to Make the Site Less Divisive［EB/OL］.https：//www.wsj.com/articles/facebook-knows-it-encourages-divisiontop -executives-nixed -solutions-11590507499，2020-05-26.

［47］THOMPSON NICHOLAS，VOGELSTEIN FRED.Inside the Two Years That Shook Facebook—and the World［EB/OL］.https：//www.wired.com/story/inside-facebook-mark-zuckerberg-2-years-ofhell/，2018-02-12.

［48］SOLON OLIVIA.Facebook Ignored Racial Bias Research，Employees Say［EB/OL］.https：//www.nbcnews.com/tech/tech-news/facebook-managementignored-internal-research-showing-racial-bias-current-former-n1234746，2020-07-24.

［49］LEFKOWITZ MELANIE.Study Finds Racial Bias in Tweets Flagged as Hate Speech［EB/OL］.https：//news.cornell.edu/stories/2019/08/study-finds-racialbias-tweets-flagged-hate-speech，2019-08-05.

［50］SAP MAARTEN，CARD DALLAS，GABRIEL SAADIA，et al.The Risk of Racial Bias in Hate Speech Detection［A］.KORHONEN ANNA，TRAUM DAVID，MàRQUEZ LLUíS.Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics［C］.Florence：Association for Computational Linguistics，2019.1668-1678.

［51］MATSAKIS LOUISE.To Break a Hate-Speech Detection Algorithm，Try“Love”［EB/OL］.https：//www.wired.com/story/break-hate-speech-algorithm-trylove/，2018-09-26.

［52］沈知涵.為了減少人工智能對人的偏見，谷歌操碎了心［EB/OL］.http：//www.geekpark.net/news/268326，2020-11-02/2021-03-17.

［53］Johnson N.F.，Leahy R.，Restrepo N.J.，et al.Hidden Resilience and Adaptive Dynamics of the Global Online Hate Ecology［J］.Nature，2019，573（7773）：261-265.