論數據抓取法律風險的流程化管理

饒傳平

內容摘要：網絡爬蟲能夠高效抓取數據，是釋放數據價值的重要手段。現行立法過于碎片化，難以有效規制不法爬蟲、引導正當爬蟲的使用；司法對網絡爬蟲侵入性的認定具有擴大化傾向，阻礙了數據的正常流通與合理使用。就法律而言，網絡爬蟲是一種能夠自動化收集并存儲數據的技術。“基于風險的方法”在網絡數據治理中得到廣泛應用，利用該方法規制數據抓取技術具有正當性與可行性。通過既有案例歸納數據抓取場景中不同爬蟲的行為樣態，并依據影響對象和影響程度為其匹配不同風險等級， 構建爬蟲抓取數據法律風險的流程化管理框架，形成基于風險的合規和基于風險的監管，為數據處理者和監管者提供一個具體的風險管理指南。

關鍵詞：網絡爬蟲數據抓取風險管理自動化數據治理合規

中圖分類號：DF41 文獻標識碼：A 文章編號：1674-4039-（2023）06-0028-42

網絡爬蟲能夠高效收集所需數據，是釋放數據價值的重要技術手段，在各行業不同場景中得到廣泛應用。與此同時，由于缺少對正當爬蟲的引導與對不法爬蟲的規制，惡意使用爬蟲侵害他人合法權益或公共利益的行為屢見不鮮。在既往研究中，對于爬蟲法律層面的分析停留在競爭法和刑法的框架下。比如，基于反不正當競爭的角度將“競爭關系”和“行為正當性”作為爬蟲抓取數據行為違法性的核心判斷因素，〔1"〕或基于刑法的角度，通過認定行為的“非法性”與行為對象的“層次性”來劃定爬蟲抓取數據的刑事犯罪邊界。〔2"〕但在實踐中，競爭法與刑法難以全面有效規制網絡爬蟲并維持數據保護與數據流通之間的平衡。近年來，為加快提升數據安全和個人信息保護，網絡安全法、數據安全法和個人信息保護法以及一系列行政法規相繼出臺。這些立法的共同之處是均強調須對數據進行“風險管理”，這也是歐盟相關立法中所提到的“基于風險的方法”的思想。然而，由于風險管理的立法依然具有非結構化、非流程化、非標準化的缺陷，難以為數據處理者與監管者提供一個風險識別與管理的有效工具。基于此，本文試圖從爬蟲抓取數據的技術原理出發，識別不同場景下不同爬蟲行為樣態中的法律風險，構建爬蟲技術使用全階段法律風險管理的框架，使“基于風險的方法”真正成為可用于實踐的數據保護工具。

一、規制爬蟲抓取數據的法律困境

目前，對爬蟲抓取數據的立法規制呈現部門化、碎片化傾向，無法應對不法爬蟲更新快、具有不確定性和復雜性等技術特點，由此導致司法實踐中只能生搬硬套地將相關法律適用范圍延伸至網絡治理領域，難以起到良好的治理效果。

（一）立法困境：部門化、碎片化的法律規范難以有效規制爬蟲

在早期，反不正當競爭法、民法中有關網絡空間行為的法律規定較為籠統，幾乎沒有適用于數據抓取爭議案件的具體條款。刑法也無法明確具體地劃出網絡爬蟲的合法邊界。〔3"〕作為不斷革新的數據收集技術手段，網絡爬蟲具有技術的發展性和法律關系的復雜性，傳統單一立法難以完全覆蓋。因此，部門化、碎片化的立法對各類不法爬蟲行為并不能作出全面有效規制。司法實踐便不得不將相關法律條款適用范圍延伸至網絡治理領域，這不僅違反了技術中立原則，而且可能造成規范的重疊與缺漏，最終導致規則缺乏可行性。〔4"〕網絡安全法、數據安全法和個人信息保護法等一系列立法相繼引入行政管理理念，〔5"〕這對維持互聯網行業競爭秩序、維護網絡數據安全和個人信息安全起到了重要作用，不僅有利于充分發揮行政機關化解矛盾糾紛的“分流閥”作用，同時為規制爬蟲抓取行為提供了新的規范依據和規制思路。有學者認為，行政規制對網絡爬蟲的不法行為覆蓋面更廣，能夠對不當的爬蟲行為進行有效規制，亦能引導合法的網絡爬蟲，達成“立體化”的規制效果。〔6"〕但本文認為，上述立法依然無法有針對性地有效解決爬蟲亂象。一是，這些立法直接針對爬蟲行為合法性的界定較少，只是通過行為規制的方式進行引導管理，因此并不能闡明“合法”與“非法”的明確邊界，數據處理者缺乏合規的具體指引；二是，行政規制難以與刑法規制相銜接，如果動輒適用刑法懲治不法爬蟲行為，則有違刑法的謙抑性要求。〔7"〕

考察我國有關爬蟲規制的既有立法，可以發現，其具有明顯的滯后性與被動性，對行為合法與否的認定標準依然模糊，難以發揮法律的指引作用，導致數據處理者和監管者依然無法可依，這一定程度上阻礙了數據的流通與利用。

（二）司法困境：司法擴張爬蟲含義阻礙其正當使用

在司法實踐中，爬蟲的含義相較于技術領域被擴大化，其侵入性與“惡性”進一步凸顯。尤其是進入刑事領域后，數據抓取行為違法程度的提高使“網絡爬蟲技術”和“爬蟲的侵入性”不斷脫離中立的技術定義，向更寬泛的概念演進，具有從“客觀侵入”到“主觀惡意”轉變的趨勢。有學者將技術與法律針對此概念的不對稱性稱之為爬蟲的“異變”，〔8"〕也有學者認為這體現了技術層面與法律層面關于“技術性標準”和“控制性標準”的差異。〔9"〕出于對法益保護的目的，司法實踐更強調保護數據被抓取方對數據的控制意志，因而違背被抓取方意志抓取數據被認為具有非法性。而被抓取方的意志在技術層面體現在為數據設置robots協議以及反抓取技術上，在這樣的場景中，突破兩者措施的數據抓取行為即可能被法院認定為手段不正當甚至是對計算機系統的“侵入”。在“全國首例爬蟲入刑”案中，〔10"〕法官將突破用戶身份認證與反爬蟲抓取措施相關聯，將其認定為構成對計算機信息系統的“侵入”。〔11"〕從法益保護而言，侵入類犯罪所保護的法益是計算機信息系統數據的“機密性”。有學者認為該案爬蟲抓取的對象是公開數據，難以滿足保護法益“機密性”的要求，〔12"〕因為單純的爬蟲技術只能抓取由后臺傳輸至前端的數據，并不具有侵害計算機系統的可能性。但是，該案并非簡單的爬蟲，而是與破解技術結合后形成的新的“變異體”。〔13"〕在這種情形下，爬蟲成為其他不法技術或行為的“背鍋俠”，整個技術集合被定義成“惡意爬蟲”，成為一個新的被法律所否定評價的廣義概念。在刑法的擴張解釋下，廣義網絡爬蟲的使用被認定為“未經授權”違背被抓取方的意志獲取數據，數據處理者對用戶自由訪問的允許并不等同于對網絡爬蟲訪問該數據的允許，使得對真實用戶而言的“公開數據”對爬蟲來說具有了“機密性”。是否有必要通過刑法保護該種只對爬蟲才具有機密性的數據？本文認為，該種“公開數據”并無刑法需要保護的“機密性”法益，但該數據有可能涉及數據處理者的競爭利益。就技術而言，突破反抓取技術手段的風險也與“侵入”計算機系統的風險不相當。因此，基于刑法的謙抑性精神， 司法實踐未能充分考慮爬蟲技術的本質特征———模仿真實用戶的收集數據的自動化工具，對爬蟲“侵入性”的擴張性認定會放大數據處理者的主觀意圖，使技術層面的使用價值被壓制，不利于數據價值的挖掘與開發。

由于爬蟲抓取數據的行為難以從反不正當競爭法的具體條款中尋求依據， 因此大部分判決依據一般條款對爬蟲抓取后數據不當使用行為進行規制。典型案例如“酷米客”訴“車來了”案〔14"〕和微博頭條數據抓取糾紛案〔15"〕均依據反不正當競爭法第2條認定違反robots協議抓取數據具有不正當性。問題在于：第一，robots協議目前僅能構成搜索引擎行業的行業準則，并不能解決抓取后數據的使用問題。即使遵守robots協議抓取數據，也不意味著抓取方可以對抓取所得數據任意使用。與此同時，robots協議的設置本身也難以具有商業道德的正當性，因為robots協議并無標準，不能僅因一方的數據防抓取意向即認定具有正當性，否則會造成抓取方與被抓取方利益失衡，違背反不正當競爭法鼓勵并保護公平競爭的目的。第二，行業慣例并不能夠等同于商業道德。行業慣例合法性并未確定，行業慣例也可能是陋習，即行業“潛規則”，〔16"〕良好的行業慣例應以能夠協調各方利益的平衡為根據，而非以遵從者的數量來確定。〔17"〕因此，訴諸直覺的不正當競爭判斷標準并不合理，司法實踐中應盡量避免以道德標準作為判決依據，應關注行為對競爭秩序的客觀影響。〔18"〕

二、從技術到法律：數據抓取/反抓取技術的法律性質

要明確網絡爬蟲的內涵和外延，首先要厘清數據“爬取（Crawl）”與數據“抓取（Scrap）”的技術概念及其差異，由此才能進一步界定數據抓取與反抓取技術的法律性質。

（一）“爬取”與“抓取”概念之辨

就法律而言，數據“抓取”與“爬取”在司法文書中均有使用，但并未形成統一用語，“抓取”的使用次數明顯多于“爬取”。有學者從行為性質的角度對兩者進行區分， 網頁爬取者是經過許可且遵守robots協議的“善意爬蟲”，網頁抓取者是指能夠破解技術防范措施的“惡意爬蟲”；〔19（〕亦有學者從抓取范圍的角度出發，認為數據抓取的含義大于數據爬取，數據抓取不僅包括通過網絡爬蟲獲取數據的技術手段，還包括應用編程接口（API）———一種企業間數據獲取的授權行為。〔20（〕本文認為前者對網頁抓取者的概念界定得過于狹隘，而后者又擴大了數據抓取的界限。在API的應用情形中，數據處理者的數據共享行為往往是知情且同意的，由此引起的糾紛通過民法典合同編即可解決，因此API已實際超出了抓取本身的含義，同時API技術與爬蟲技術的原理完全不同，并非本文的研究對象。

就詞源而言，網絡爬蟲基于技術框架不同有網頁爬取者和網頁抓取者之分。爬取的特點是支持多種數據庫，能夠高效抓取網頁；而Scrapy框架較為成熟，能夠提取Web頁面中的結構化數據。〔21（〕隨著網絡爬蟲技術的不斷完善，兩者之間的差異也越來越小，乃至在技術領域可以相互替代。就技術而言，爬取與抓取的工作流程有所不同，“爬取”首先要從一個初始種子URL開始，通過該網頁存在的URL形成新的URL合集，從而遍歷整個網絡；〔22（〕而“抓取”的第一步是請求目標網站提供特定URL的內容接著對網頁內容進行解析和提取，最后一步是下載數據并將其保存。由此可以認為，“爬取”主要以網頁為目標，其目的是聚合大量、全面的信息，因而常常用于搜索引擎中；而“抓取”的工作過程更具有針對性，主要用于提取特定的數據，可以自動捕捉到抓取者想要的數據信息。〔23（〕爬取與抓取的區別總結如下表所示：

由于數據資源的爆炸式增長，為了更好滿足網絡爬蟲使用者的需要，聚焦式網絡爬蟲由通用網絡爬蟲演化發展而生，〔24（〕而在司法領域中更多的糾紛源自非搜索引擎的使用場景。綜上所述，本文的研究將聚焦于“抓取”而非“爬取”。

（二）抓取方：網絡爬蟲的法律釋義

有學者認為，爬蟲按照指定的規則循環遍歷網頁中的內容并下載所需數據到本地，其本質是一套高效的下載系統。〔25（〕從技術角度而言，該定義與現行法律術語存在不一致，極易帶來司法適用上的混亂。為使技術分析與法律術語相統一，本文認為，應將網絡爬蟲定義為一種能夠自動化收集并存儲數據的技術。

“自動化”體現在：地址解析的循環性；請求發送的自動性；數據獲取的高效性。網絡爬蟲通過循環解析URL（Uniform（resource（locator，同一資源定位符）來獲取數據，而URL是完全開放的，實際是在模仿普通用戶正常發送數據請求，〔26（〕隨后等待服務器向其傳輸數據并在客戶端抓取數據。網絡爬蟲可以自動地不斷發送數據請求，因此比普通用戶從網頁上直接獲取信息的效率高得多。但也基于此，部分網絡爬蟲可以被數據被抓取方識別出來。

“收集存儲”體現在：使用網絡爬蟲的目的是下載所需數據到本地。有學者認為爬蟲是網站的主要數據“采集”方式，然而數據采集的客體不僅包含網絡數據，還包括從傳感器和其他待測設備等模擬和數字被測單元中自動采集的數據。〔27#〕顯然網絡爬蟲的抓取對象并非來自傳感器或真實世界的數據，數據僅經歷了設備之間的“復制性”轉移，若使用“采集”一詞則會造成抓取客體范圍的擴大化。網絡安全法、數據安全法和個人信息保護法關于數據的獲取均使用“收集”一詞，考慮到法律條例及其適用的語義一致性，本文認為“收集”比“采集”更為恰當。同時，網絡爬蟲在循環遍歷網絡數據時會將所需數據下載到本地，該下載行為即可定義為“存儲”。

（三）反抓取方：robots協議與反抓取技術措施的法律性質

從網站來講，網絡爬蟲的惡意使用不僅增加了服務器數據泄露的風險，也增加了網站運營成本，因此越來越多的網站采取反爬蟲手段來遏制網絡爬蟲的濫用。數據被抓取方對網絡爬蟲的應對與防范即反抓取手段，主要包括robots協議和反抓取技術措施。

robots協議是規范網絡爬蟲抓取行為的非強制性“君子協議”，其存在或生效與否，不影響網站數據的公開狀態，也不會對執意抓取的爬蟲帶來技術上的障礙。有學者認為爬蟲逐漸表現出其手段的競爭性特征，由于越來越多的數據抓取方以不勞而獲、“搭便車”的態度利用網絡爬蟲收集數據，因此被抓取者往往將其視為商業競爭工具。〔28#〕

目前，我國法律并沒有明確規定robots協議的法律屬性，僅旨在提高搜索引擎服務行業水平的《互聯網搜索引擎服務自律公約》第7條規定，互聯網平臺應遵守robots協議，第8條規定互聯網站所有者設置限制性機器人協議時應有正當合理的理由。在司法實踐中，有關robots協議的爭議主要體現為三種場景，一是被抓取方未設置robots協議，二是被抓取方不正當設置robots協議，三是抓取方違反robots協議。在浙江泛亞公司訴百度一案中，〔29#〕法院將泛亞公司未設置robots協議的行為視作允許被搜索引擎抓取的“默示許可”。同樣，在美國Field訴Google一案中，〔30#〕法院認為Field并未設置爬蟲協議來告知Google一方不得抓取數據，即推定為對Google網頁快照行為的默示許可。在奇虎360訴百度不正當競爭案件中， 〔317〕法院認為百度通過設置robots協議白名單的形式來限制360進行抓取的行為具有不正當性，不僅損害了360一方的利益，也損害了消費者的利益，同時百度一方未能就其限制行為提供合理正當的理由，不符合自律公約的相關約定，違反了誠實信用原則和互聯網搜索行業公認的商業道德。從抓取方的角度來說， 法院在大眾點評訴百度案中認為，robots協議不能解決數據使用行為的合法性判定問題。〔32#〕總而言之，目前司法實踐中將“未設置robots協議”的行為認定為被抓取的默示許可，且認定“設置robots協議”時應當有合理、正當理由，但并未直接將“違反robots協議”的行為等同于違反商業道德或行業準則。

反爬蟲技術措施是指通過區分爬蟲訪問和真實用戶訪問，排除非真實用戶訪問的技術手段。〔33#〕IP訪問量限制、Session#訪問量限制、User-Agent7限制以及設置登錄驗證碼都屬于常見的反爬措施。〔347〕與robots協議相比，反爬蟲技術更具強制性，后者更體現了數據提供者的“強保護意愿”。〔357〕司法實務中將突破反爬蟲技術措施抓取數據的行為認定為具有“侵入”性，如在首例爬蟲入刑案中，法院將繞過身份驗證的行為定義為具有侵入性，抓取方構成非法獲取計算機信息系統數據罪。〔36#〕

三、網絡爬蟲行為規制的路徑選擇：基于風險的流程化管理

本文認為，規制不法爬蟲技術的有效途徑是引入“基于風險的方法”。該方法的本質是對技術復雜性和風險多樣性的規制，并在實質上為爬蟲的合法性劃定一條新邊界，要求數據處理者基于風險的方法形成有效的自我合規模式，監管者則應基于風險的方法制定標準和監管體系。

（一）數據抓取適用“基于風險的方法”的正當性

首先，數據抓取技術的固有特征滿足基于風險方法的適用前提。爬蟲技術不斷更新迭代具有復雜性、多樣性，新技術可能造成的損害不能被證明是必然發生的，這是適用基于風險的方法的前提。因此，基于風險的方法可以有針對地對傳統規范難以評價的新技術進行管理與規制，即基于風險的數據保護理念對風險的防范預設了更有效和情境化的數據保護， 而不僅僅是基于合規的規定性框架。〔37#〕換言之，基于風險的方法將使數據保護從形式保護轉變為實質保護，依據不同等級的風險課以數據處理者相應的義務，從而得以在二者之間進行相應的風險分配。

其次，基于風險的方法能夠體現場景完整性理論的一般原理。Helen#Nissenbaum提出了著名的場景完整性理論。〔38#〕基于風險的方法同樣要求考慮不同場景下的技術使用目的、方式和對象，考慮數據處理的性質、范圍、場景與目的，和數據處理對人權自由的影響概率和風險程度，數據處理者應采用合理的技術措施，保證數據處理行為符合條例的規定。在“告知-同意”原則流于勾畫復選框的現狀之下，從數據流動能否促進重要價值或目的實現的角度，在數據保護的實踐中劃出一條實質性的界線；在利用爬蟲抓取數據的場景之下，應考慮抓取方收集數據的目的、性質和范圍等因素判斷正當性，從而應對被抓取方robots協議形同虛設的現狀。

最后，基于風險的方法的本質是對技術風險的規制，具有目的同一性。數據保護是對多樣復雜的技術可能引發的風險的控制，基于風險的方法是在既有的數據權利保護方案之上的拓展。技術的發展不僅擴大了計算機系統安全的潛在威脅，更使人權尤其是隱私權置于風險之中。但與此同時，不應將對隱私權的保護和數據保護混為一談。〔39#〕數據保護的目的是防止包括隱私權在內的各項權利被侵害，也是有效防止新技術所引發的各項風險。Mayer8Sch觟nberger證實了這一假設，他認為數據保護在其成立時是一種風險監管制度，數據保護的治理規范則是針對特定技術的立法。因此，制定了大量復雜的程序來控制和規范技術的使用，旨在不同階段有效控制數據處理潛在的風險。〔408〕爬蟲屬于數據自動收集的技術手段，僅僅從技術形式進行合法性判斷易產生更多規避手段，這也是我國刑事領域爬蟲的侵入性含義擴張化的原因之一，基于風險的方法可以極大程度上避免該種技術規避行為。

（二）數據抓取適用“基于風險的方法”的可行性

首先，基于風險的方法能夠彌補現行法律規制爬蟲的滯后性。以形式合法的方式劃定數據處理技術的合法性邊界，難以有效遏制爬蟲造成的損害后果，且不利于爬蟲的正當使用。不少學者已經意識到此種局限性，蘇宇認為可以利用行政規制的立體化治理能力引導爬蟲技術的合理利用；〔41#〕孫禹認為可以引入形式合規的理念，確保合法的爬蟲技術不受形式規制的干擾；〔42#〕朱崢認為應以內部管理型機制為基點，通過橫向和縱向的體系化構建對爬蟲失范行為進行規制。〔43#〕這表明，學界已經認識到事后救濟模式在數據與技術治理上的不足，視角逐漸擴展到社會控制、行政規制、內部規制等治理模式。采取傳統權利的保護路徑難以實現促進數據流通與共享的目標，而公法規制專注于治理造成嚴重后果的不法爬蟲，不能作為常態化的治理手段。相比之下，基于風險的方法要求數據處理者對數據處理行為的風險進行動態評估，側重預防數據處理過程中產生的數據安全風險，基于不同風險等級配置相應的合規措施并科學配置監管資源，因而塑造了數據處理者與監管者之間的義務與責任關系，將規制重心從數據處理完成后轉移至數據處理過程當中，同時場景化的風險劃分方式能夠有效應對未來技術發展的靈活性。〔44#〕

其次，基于風險的方法能夠針對不法爬蟲行為隱蔽性的特征，更加公平合理地分配數據處理風險。第一，爬蟲使用者是技術的控制者，也是數據的控制者，有更多的技術能力對該數據處理行為進行風險控制；第二，數據安全風險來自爬蟲行為，且爬蟲使用者從該數據處理活動中獲得利益，理應承擔數據安全風險；第三，可以倒逼被爬取方完善數據合規行為，建立更加完備的數據安全合規體系。那么，將更多的合規義務賦予爬蟲使用者是否會阻礙數據流通的效率？ 當爬蟲使用者面臨不確定、不明晰的爬蟲法律規范時，意味著數據處理行為風險的不確定性，正如懸在程序員頭上的達摩克利斯之劍，基于風險的方法貫穿整個數據生命周期，從數據處理行為全流程的角度將風險情景化、具體化，這使得爬蟲使用者要以最大程度和最高效率設計爬蟲程序，規范數據使用活動。

再次，基于風險的方法能夠將爬蟲可能造成的不確定的損害轉化為確定性的合規行為，將損害的無形性、不可控性、隱蔽性轉化為合規行為的可操作性。在一般侵權損害中，損害事實應具有客觀性，既指損害已客觀發生，又指依照社會一般認識損害必然發生。〔45#〕當數據抓取方的技術已然造成損害時，一般侵權損害的構成要件很容易證明，可當數據抓取尚未造成現實損害，而是增加了數據安全的風險，則難以構成侵權損害客觀性的認定，此時被抓取方無計可施。田野認為，在個人信息侵權領域應當將實質性風險作為未來損害的確定性標準，這是解決風險的不確定性與損害的客觀性之間矛盾的有效出路。〔46#〕然而實質性的風險標準亦不具有確定性，唯有依賴基于風險的方法，在場景中將實質性的風險標準轉化為數據處理者的合規義務與監管者的監管義務，才能夠解決爬蟲風險性損害的認定問題，緩解了爬蟲治理中技術認定模糊的困境。

（三）“基于風險的方法”的流程化實現

考察近年來的數據立法趨勢，“風險管理” 逐漸成為保障數據處理和數據安全的工具。Spina指出，歐盟的數據保護立法正在經歷一場漸進的“風險化（riskification）”治理，他將其定義為“從數據處理的形式合法性和對公司行使權利的有限邊界”向“在不確定的情況下管理技術創新的‘強制自律’模式”的轉變。〔47#〕實際上，風險已成為數據保護領域的一個新邊界，也是決定在特定情況下是否需要額外的法律和程序保障的一個關鍵指標，以保護數據主體免受特定數據處理活動產生的潛在負面影響。〔48#〕在我國，“風險”一詞在網絡安全法、數據安全法、個人信息保護法和網絡數據安全管理條例（征求意見稿）中共出現了51次。然而，這些法律規范雖然新增了風險評估與風險管理機制，但“基于風險的方法”卻仍然沒有為數據處理者和行政監管提供有效范式。

現有立法在宏觀上構建了風險管理的大方向，亟須在實踐中構建“將問題、事件和損害描述為風險”的步驟。實質性風險的認定標準只能從個例出發進行判斷，本文即試圖通過總結既有數據抓取司法案例，識別網絡爬蟲抓取數據過程中的典型場景及其法律風險，并基于風險的方法對可預期的法律風險進行動態控制與防范，以便為數據處理者提供數據抓取領域風險控制的合規重點，同時為監管機構提供風險評估指南，進一步選擇需要優先評估和重點監管的高風險數據處理行為。

四、網絡爬蟲抓取數據的法律風險管理框架

本文以爬蟲的法律含義———“數據收集”為中心，將爬蟲抓取數據的過程分為數據收集前、數據收集中和數據收集后三個階段，以此構建爬蟲法律風險管理框架。

（一）數據收集前：數據分類分級下的風險管理

數據安全法第22條要求建立“數據安全風險評估機制”，這不僅要求數據處理者有效應對數據安全風險，更要求監管者協調有關部門加強重要數據的保護。本文參考《網絡安全標準實踐指南———網絡數據分類分級指引》（簡稱《指南》）對數據進行分類分級，并在此基礎上基于風險的方法評估不同數據可能涉及的風險等級。

從數據分類的視角出發，由于數據抓取場景下被抓取一方往往是企業的網站數據，根據《指南》中對組織經營數據的分類，將數據分類為用戶數據、業務數據、經營管理數據和系統運行與安全數據。

《指南》將用戶數據定義為企業在開展業務過程中從個人用戶收集的數據或在服務過程中歸屬于用戶的數據，其中包括個人信息。當抓取對象為個人信息時，應考慮到個人信息保護法第13條第2款規定的個人信息收集的“知情-同意”原則，若數據抓取者并未清晰地告知用戶并經用戶明確同意便利用爬蟲抓取其個人信息，則違反個保法中有關個人信息收集的相關規定，構成違法行為，情節嚴重時構成“侵犯公民個人信息罪”。典型如馬某編寫爬蟲程序竊取App網站用戶包括姓名、聯系方式等個人信息約20萬條，非法獲利2.4萬元，最終法院認定該情形下構成侵犯公民個人信息罪。〔49.〕

業務數據是指在業務生產過程中收集和產生的非用戶類數據，被抓取對象包括具有競爭權益的業務數據以及涉著作權數據。當抓取對象為涉著作權數據時，抓取方可能構成侵犯著作權，情節嚴重者同樣將落入刑法的規制框架。有兩類典型不法爬蟲行為樣態：一是數據抓取者以網絡傳播為目的，利用爬蟲抓取公開的涉著作權內容并直接將其“復制”公開提供；二是通過深度鏈接的技術手段提供內容，并使得用戶無法區分內容的真實網站來源。在刑法和著作權法的交叉領域，關于后者是否構成信息網絡傳播行為，司法中存在不同標準。在段某侵犯著作權案中，〔50.〕被告人利用爬蟲技術收集大量影視資源并上架個人網站，該網站則起到聚合、鏈接作品內容的作用。該案中，法院將該行為視為發行，因而構成侵犯著作權罪；但在另一案件中，〔51.〕法院認為信息網絡傳播應采用“服務器標準”，即深層鏈接行為不該被認定為信息網絡傳播行為。因此，在刑法和著作權法領域，存在技術標準認定沖突問題。具有競爭權益的業務數據是指在商業中可以構成企業競爭優勢的數據。例如，在大眾點評案、〔52#〕微博訴脈脈案中，〔53#〕法院均認定被告作為數據處理者未經網站許可抓取并使用原告網站數據的行為，違背誠實信用原則，損害了原告既有的競爭優勢，構成不正當競爭行為。針對具有競爭權益的業務數據， 司法實踐中往往通過反不正當競爭法中的一般原則條款對不當數據使用行為加以規制。丁曉東認為對于惡意抓取企業公開數據并搭便車的行為，反不正當競爭法的一般原則條款可以場景化地判定數據使用爭議，因而優于其他傳統私法路徑；〔54#〕而劉琳更強調反不正當競爭法第2條的不穩定性與滯后性的弊端， 為了防止對一般原則條款的濫用， 應在第二章對商業數據“搭便車”的行為進行單獨列舉，明確禁止利用爬蟲等技術手段抓取企業商業數據并破壞他人的競爭利益。〔55#〕

經營管理數據是指機構經營管理過程中收集和產生的數據，如經營戰略、財務數據等，若屬于不為公眾所知悉、能為權利人帶來經濟利益的數據則屬于商業秘密。抓取對象為商業秘密時，往往存在內部職務越權的情形，因為商業秘密顯然不可能以公開數據的方式存在，一般依賴破壞性技術手段或“越權登錄+抓取”的方式實現，因此只有通過技術的“侵入性”才能實現對數據處理者權益的侵害，即具備“對象不法”和“技術不法”的雙重違法性。根據《反不正當競爭法》第9條，爬蟲應當屬于獲取他人商業秘密的不正當手段之一，即已經構成侵犯商業秘密，后續是否對該商業秘密公開、泄露、使用都不影響侵犯商業秘密行為已然構成的事實。如果數據處理者使用侵入式或破壞性的爬蟲，獲取到不為公眾知悉且具有商業價值的數據，則涉及侵犯商業秘密的風險。

系統運行和安全數據主要存在于計算機系統內部，僅能通過侵入型爬蟲技術進行抓取，因此該部分法律風險實質上是由技術的侵入性引起的，下文將展開論述。

當然，待抓取對象為上述具有特殊法益需要保護的數據時，并不必然構成違法犯罪行為。例如，上文提到的迅雷訴豌豆莢一案，豌豆莢作為全網搜索視頻軟件，法律不應苛責其審查義務，因而豌豆莢不構成侵犯信息網絡傳播權。以涉著作權數據作為待抓取對象時，可以將爬蟲技術〔56#〕拆解為瀏覽階段、下載階段和使用階段進行分析。在爬蟲瀏覽或稱之為遍歷網頁階段，爬蟲實質上在模擬真實用戶瀏覽網頁，就技術而言，該過程相當于爬蟲與網頁數據的“接觸”，在我國著作法保護“接觸控制行為”的正當性存在極大爭議，也不存在所謂的“接觸權”，〔57#〕因此該階段并不涉及侵害著作權的風險。在爬蟲下載數據階段，實質上是作品的復制過程，但該過程與“緩存”所對應的“臨時復制”有所不同，爬蟲使用者復制作品的意圖明確為“主動復制”，因而受到著作權法中關于復制權的約束與規制。在使用階段，應當充分考慮著作權法中關于“合理使用”的規定以防止對著作權的過度保護，這主要包括私人復制、公務復制和社會復制等合理使用類型，〔58#〕合理使用以外的情形，作品的傳播行為應受到侵犯信息網絡傳播權的規制。以公民個人信息為抓取對象時，若屬于用戶自愿公開的一般個人數據，且未設置防抓取技術措施的前提下，首先應當允許被爬蟲抓取，其次在權限范圍內以提高效率為目的利用爬蟲收集個人信息的行為也不應認定其違法性，即在實質上數據抓取行為對法益的侵害或威脅并未達到實質違法犯罪的程度。〔59#〕

在此基礎上，考慮影響對象、影響程度兩個要素進行分級風險評估，可以將數據劃分為核心數據、重要數據和一般數據三個等級。在流程方面，數據處理者應首先考慮是否為核心數據、重要數據，再依據一般數據的不同細分等級制定不同的風險合規措施，針對核心數據要嚴格管理，針對重要數據要重點保護，一般數據則采用全流程的分級保護措施。

核心數據和重要數據均指對國家安全或公共安全可能造成相應危害的數據，只是危害程度上有所差異，前者具有較高的風險等級，故應采用最完善的合規措施和最嚴格的監管控制。《指南》認為，基于海量個人信息形成的統計數據、衍生數據也有可能屬于重要數據。當數據涉及大量個人信息時，也具有侵害國家安全的風險。例如，2022年7月21日，國家互聯網信息辦公室公布對滴滴公司依法作出網絡安全行政處罰的決定，認為滴滴公司在經營過程中存在過度收集個人信息和精準位置信息等情形，且存在嚴重影響國家安全的數據處理活動。〔60<〕根據司法解釋，對“公民個人信息”的概念界定并未要求具有隱秘性，因此公民個人信息可以以公開數據的形式存在，在刑事規制的視角下，侵犯公民個人信息罪中的“公民個人信息”包含公開信息。〔61<〕當爬蟲的抓取目標是個人信息時，首先應明確數據處理者無論是否利用爬蟲手段收集個人信息均需在個人信息保護法的框架下進行。因此當企業需要利用爬蟲抓取公開的個人信息時，首先應考量是否為公民自愿公開的個人信息即是否落實“告知-同意”的要求，尤其是若待抓取對象為敏感數據，更要征得被收集人的明示同意。合法收集的個人信息是爬蟲合規的前提，在此基礎上，大量抓取個人信息應當是具有一定的數據保護能力。

一般數據是指對國家安全和公共安全無危害， 但可能損害個人或組織合法權益的數據，《指南》指出應采用全流程的分級保護措施保護，因此一般數據可能引起的法律風險，應當綜合考慮行為性質進行風險評估。以大眾點評訴百度地圖不正當競爭案為例，法院從主體關系、行為性質和因果關系三個方面來判定百度地圖是否構成不正當競爭。〔62<〕法院在認定百度公司的行為性質時，重點評述了以下幾個事實：一是大眾點評被抓取的數據屬于其核心競爭資源，二是百度使用爬蟲的行為違背了商業道德，三是百度的行為對大眾點評的經營業務足以形成實質性替代。因此，該行為不僅破壞了商業市場的競爭環境，亦損害了消費者的福祉，該爬蟲抓取數據的行為構成不正當競爭行為。本文認為，數據使用行為具有不正當性是爬蟲不法的必要條件，即不能“一刀切”地禁止對公開經營數據的抓取，應當考慮到雙方主體的競爭關系、主體體量、數據性質和數量、使用目的等情景綜合判斷，法律應當對具有強大經濟實力的企業的有害行為進行行政監管來保護競爭過程，而不是禁止特定類型的行為。〔63<〕若爬蟲抓取非競爭關系企業的經營數據，利用抓取到的數據進行創造性使用，則數據使用行為沒有侵害被抓取企業的利益，也沒有侵害消費者和公共利益，應當認定為爬蟲的合理使用。〔64<〕

（二）數據收集中：對于爬蟲抓取技術的風險管理

由抓取技術引起的法律風險主要是指由于技術的不當使用或幫助不當使用的行為所帶來的風險，以及侵害被抓取方的計算機系統或帶來安全風險，具體可以將該行為細分為爬蟲技術的侵入與防侵入行為、破壞行為和提供行為。

1.爬蟲的侵入與防侵入行為

侵入與防侵入行為主要包括三種行為樣態：違反robots協議的抓取與防抓取行為、突破反爬蟲技術措施的侵入與防侵入行為、利用授權登錄系統后的數據抓取行為。

首先，違反robots協議數據抓取行為是指未經被抓取方授權，或抓取方違反robots協議的公示可抓取范圍而抓取數據的行為。該情景下，爬蟲技術違反《網絡數據安全管理條例》第17條第2款的規定，屬于“違反行業自律公約利用自動化工具訪問、收集數據”的行為。同時，該行為也受反不正當競爭法第2條的約束，即認定為構成“違反誠實信用原則和商業道德”的技術手段，如在騰訊訴字節跳動案中，〔65A〕字節跳動公司通過規避robots而抓取大量數據信息，法院認為字節跳動的爬蟲行為即違反了上述規范， 是不正當競爭的違法行為。辯證地看， 僅僅突破robots協議的手段并不當然具有不正當性。robots協議的強制力在不同的行業領域中也有所區分。在搜索引擎領域，被抓取一方無正當理由利用robots協議設置數據抓取白名單進而排除其他搜索引擎抓取的行為在競爭法領域具有不正當性。在搜索引擎以外的行業中，該行為并不能說明robots協議違反商業道德。在360訴百度一案中，〔66A〕百度設置robots白名單限制360使用爬蟲抓取數據，法院認為針對百度所設置白名單將360排除在外的行為缺乏合理、正當的理由，違反搜索引擎領域中的商業道德，構成不正當競爭；而在另一起不正當競爭案中，〔67A〕微博將頭條設置為robots黑名單阻礙其使用爬蟲抓取數據，法院則認為設置robots協議黑名單的行為沒有違反商業道德，而是經營自決權的體現。因此，同樣是利用robots協議限制爬蟲的數據抓取行為卻有不同的法律后果，這是因為robots協議并非各個行業的商業道德，僅在搜索引擎領域具有較強的行業準則效力。〔68A〕因此，在判斷數據處理者設置robots協議的正當性時，應結合具體場景進行綜合判斷， 例如雙方主體的經營領域和商業地位、robots協議限制的技術方式、robots協議的限制對商業環境和消費者福利的影響等。〔69A〕

其次，突破反爬蟲技術相較于違反robots協議則更具有侵入性，強行突破網站設置反爬蟲技術措施，情節嚴重的行為可能落入刑法的規制框架。刑法第285條規定不得采用其他技術手段獲取計算機信息系統中存儲的數據。如果網站運營者已經采取了一定的反爬蟲措施，而爬蟲強行突破網站運營者采取的反爬蟲技術措施，并客觀影響到被抓取網站的正常運行，則可能構成上述規定所規制的犯罪行為。那么，所有突破反爬蟲技術措施的手段都被認為具有不正當性嗎？ 本文認為是否定的，常見的反爬蟲技術有加密算法、驗證程序、IP訪問限制、驗證碼措施等。〔70A〕在“車來了”一案中，〔71A〕法院認定突破加密算法的爬蟲具有不正當性；在“極致了”網站抓取“微信公眾號平臺”文章一案中，〔72A〕法院認為突破IP訪問限制的手段具有不正當性；在智聯招聘訴51Job案中，法院認為通過設置程序讀取驗證碼不屬于破解技術措施。〔73A〕因此，有些網站通過JS腳本如設置驗證碼、滑動解鎖等方式限制爬蟲的抓取，但該類措施是爬蟲限制性措施而非禁止性措施，主觀上更多是為了降低爬蟲對網站運營帶來的負擔，且網站經營者對該技術較易突破的現狀應當有一定的認知，因此被抓取方主觀上對數據的保護意志并非很強。從客觀技術層面而言，突破驗證碼抓取數據的方式并未侵入被抓取方服務器中，依然是模仿真實用戶進行抓取的行為，并不產生對被抓取方的系統安全造成影響的風險。此外，若網絡爬蟲技術僅違反robots協議但并沒有突破反爬蟲技術措施的抓取行為是否具有違法性？關于爬蟲協議的性質，大致有行業慣例說（或稱為商業道德說）、技術標準說和單方意思表示說三大類。〔74A〕本文認為，robots協議難以作為爬蟲違法性標準，盡管在司法實踐中，搜索引擎行業中繞過被訪問網站的爬蟲協議獲取數據的行為可能因違反反不正當競爭法第2條一般條款而構成不正當競爭， 但其實質是由于數據抓取方對數據的不當使用造成的，并非由抓取行為違反robots協議導致，則難以認定該行為的不法性。若賦予robots協議法律效力，則相當于給予大型互聯網平臺絕對權力，易形成行業壟斷，會阻礙數據的流通與共享。因此，僅違反robots協議的爬蟲不能當然認定其具有違法性，應當結合robots協議本身的正當性、數據的使用目的等因素綜合判斷爬蟲行為的風險。

再次，抓取方利用授權登錄系統后的數據抓取行為，是指數據抓取者在擁有單位提供的賬號、密碼的情況下，合法登錄之后使用網絡爬蟲收集由單位所保存的非公開的數據。法院認為該行為屬于違背他人意愿對計算機信息系統的侵入，如在馬某等非法獲取計算機信息系統數據案中，〔75/〕馬某在未經用戶同意且無網站授權的前提下， 擅自利用云盤搜索爬蟲抓取百度網盤的分享鏈接和提取碼，并將其置于自己的網站上公開提供給其他用戶進行牟利活動，法院認定該爬蟲行為屬于“其他技術手段”獲取計算機信息系統數據的行為，且由于爬蟲抓取數據量巨大，情節嚴重，認定其構成非法獲取計算機信息系統數據罪。

2.破壞行為

破壞行為是指非法對計算機信息系統功能的破壞或對其中存儲的數據和應用程序的破壞。由于不加控制地利用網絡爬蟲技術，導致頻繁的大規模訪問超過了服務器的承載限度造成網站崩潰的行為，該行為可能違反《網絡數據安全管理條例》第17條關于數據處理者使用自動化工具收集數據的規定，和網絡安全法第27條“干擾他人網絡正常功能”的規定。當該行為達到能影響公共秩序的程度，〔76/〕則可能違反刑法第286條“破壞計算機信息系統罪”的有關規定。〔77/〕

由于具有“侵入性”與“破壞性”的爬蟲使用者主觀惡性十分明顯且后果嚴重，因而無論抓取者是何目的，也無論其是否抓取到數據，均會落入刑事管制范圍內。例如，只要爬蟲使用者未經授權擅自進入或侵入特定的計算機信息系統中，即使尚未利用爬蟲抓取該系統的數據，也已然構成犯罪行為。若侵入非特定保護的計算機信息系統當中，破壞性爬蟲干擾服務器正常運行造成嚴重后果，也可能構成破壞計算機信息系統罪。

3.提供行為

提供行為是指提供爬蟲技術或提供突破反爬蟲措施技術的行為，該行為涉及《網絡安全法》第27條關于提供侵入網絡程序、工具的規定，以及刑法規定的“提供侵入計算機信息系統程序、工具罪”。典型案例如“快啊答題”販賣驗證碼識別服務案，〔78/〕李某與楊某創建“快啊答題”平臺，有償提供批量圖文驗證碼識別服務。該技術可以快速、批量實現對騰訊公司服務器下發圖文驗證碼的識別，以完成騰訊QQ密碼的驗證。后眾多軟件用戶以向“快啊答題”平臺充值的形式有償使用上述程序，并侵入騰訊公司服務器。法院認為，被告雖然不清楚這些原始數據的來源和用途，但會意識到正常情況下不會有那么多原始數據需要識別，即存在犯罪故意，因此被認定為提供侵入計算機信息系統程序、工具罪。爬蟲技術提供行為的風險主要依附于真正使用者對爬蟲技術的使用是否合法，明知是違法組織或活動而為其提供爬蟲技術的行為應當被列為禁止行為。

（三）數據收集后：數據使用目的的風險管理

數據使用目的是對數據抓取的實質正當性要求，可以通過對數據使用目的正當性的判定不斷調控數據安全與數據流通的利益平衡。數據使用目的看似已脫離爬蟲技術可能引起法律風險的范圍，但爬蟲使用者利用爬蟲的目的正是為了實現數據使用的目的，因此對數據使用目的正當性的要求也可表達為對爬蟲技術使用的正當性要求。

“正當使用”的概念最先應用于商標法領域。商標法“正當使用”制度的立法目的是以保護公眾的正當使用為本位，防止商標權人濫用權利導致公眾不能自由地使用公共信息資源。〔79/〕與之類似，著作權法領域也存在“合理使用”制度，該制度保障公眾對作品的合理接近，從根本上反映出對公眾利益的關注。〔80#〕在個人信息保護領域同樣規定了“合理使用”制度，旨在基于公共利益的角度對人格權益進行一定的限制。個人信息保護法第13條規定了個人信息合理使用的五種情形，程嘯教授將其總結為三項：一是為維護公共利益，二是為保護個人合法權益，三是處理已經合法公開的個人信息。〔81#〕商標權、著作權和個人信息權益都采用“強保護”的制度設計對該部分信息進行專門的法律保護，即以保護為前提兼顧信息數據的分享。而對于不具有特殊權益內容需要保護的數據而言，法律的保護強度應弱于類型化保護的數據，即應以信息數據的分享為前提兼顧利益保護。可以說，“合理使用”制度或“正當使用”制度在此語境下并不等同于“使用具有正當性”，前者是指為了公共利益對個人權益作出的犧牲，而后者是在并無法定權益需要保護的前提下，所作出的對公共利益和個人（或組織）利益的平衡。因而，在明晰一般公開數據的“合理使用”標準時，應以禁止性規定為底線，界定數據“不合理使用”的情形，底線以上均可稱之為合理使用。因此數據使用目的的正當性體現為兩個方面：一是不損害國家安全、公共利益；二是不損害公民、組織合法權益。

綜上所述，本文構建爬蟲法律風險管理框架可總結如表2。

（四）風險管理的主體：數據處理者與監管者的協同

基于風險的方法對數據處理者和監管者兩方主體都將起到指導作用。Macenaite認為“風險管理”概念在歐盟數據治理中的重要性正急劇增長，并帶來了兩個轉變，一是在實踐層面上轉向基于風險的數據保護的實施與合規，二是在更廣泛的監管層面上轉向風險監管。〔82#〕簡言之，基于風險的方法需要數據處理者和監管者雙主體的協同參與。原因在于，基于算法的不透明性和技術的專業性、復雜性，數據監管者單方作為規制主體的監管成本過高，數據處理者作為享受數據收益權的主體承擔與之匹配的社會義務具有正當性；同時，數據處理者所承擔的數據安全義務、技術安全注意義務應當具有一定的范圍，過重的合規成本會阻礙數據的流通利用，政府或第三方機構應作為該種“強制自律”模式的監管者和督促者，并合理分配主體之間的風險承擔。

以數據處理者和監管者雙主體為坐標，可以將“基于風險的方法”細分為“基于風險的監管”和“基于風險的合規”。兩者的相互協同是采用基于風險的方法的內在應有之義。

一是基于風險的監管。將風險作為監管工具使用，標志著“對風險的監管”向“通過風險監管”的轉變。〔83#〕這是一種有針對性的監管模式，即依據風險評估賦予與數據處理者相對稱的義務，或依據風險等級采用不同的監管方式。〔84#〕簡言之，它允許根據相關風險的嚴重程度優先考慮監管執行或標準制定。〔85#〕風險為監管者提供了監管對象，并且成為監管活動正當化的依據。例如，歐洲議會全體會議于2023年6月14日表決通過的人工智能法案采用基于風險的監管的方法， 將人工智能分為禁止型人工智能、高風險型人工智能、有限風險人工智能和無或低風險人工智能，其中對高風險型人工智能的參與者賦予更嚴格的全生命周期合規義務， 規定了專門針對高風險型人工智能的風險管理系統條款。〔86#〕基于風險的監管允許監管機構根據對受監管者存在的風險進行評估，確定優先事項并明確解釋其選擇性決策。〔87+〕在基于風險的監管之下，監管者將其監管資源和監管成本集中在風險最大和最有害的活動上，從而能夠解決更廣泛的合法性和問責問題。

二是基于風險的合規。政府作為監管者受到信息不對稱的影響需要付出較高的監管成本，需要將監管責任一部分轉移至數據處理者，使之承擔相應的合規義務。如歐盟《通用數據保護條例》所采用的基于風險的方法主要依賴于私人實體，即數據處理者，并在很大程度上委托他們對與其數據處理活動相關的社會風險進行詳細的定義、評估和管理，體現一定的自律性。〔88#〕有學者指出，在對監管的深入理解下，可以將數據處理者本身視為從事基于風險的監管機構。〔89#〕數據安全法第四章明確規定了數據處理者的數據安全保護義務，這即是基于風險的合規，如第27條規定，開展數據處理活動應當依照法律、法規的規定，建立健全全流程數據安全管理制度，組織開展數據安全教育培訓，采取相應的技術措施和其他必要措施，保障數據安全。同時，本條第2款規定，要求重要數據處理者明確數據安全負責人和管理機構，落實數據安全保護責任。

本文認為，基于風險的方法的目標并非禁止所有具有風險損害行為或消除所有損害風險，而是從概率和成本的角度出發，數據處理者對風險不同的技術措施予以不同的關注和合規措施，監管者同樣應基于數據處理行為風險的高低予以不同的監管力度。在上述四個爬蟲風險場景下，數據處理者和監管者應當實施動態的合規制度和監管措施。以數據處理者為例，首先，企業應嚴格遵守爬蟲紅線，禁止任何確認違法的爬蟲行為。其次，除了一般的合規義務外，數據處理者進行高風險的數據抓取行為還要求構建完善的事前合規評估、重大事件報告機制，建立詳細的風險管理流程機制，嚴格實施人員權限管理，對重要數據和核心數據的處理活動進行嚴格管理并留存記錄，不得以任何理由、任何方式對銷毀的核心數據和重要數據進行恢復；通過間接途徑獲取重要數據和核心數據的，應當與數據提供方以簽署相關協議、承諾書等方式，明確雙方法律責任。再次，針對中風險的數據抓取行為，應當具有數據質量控制義務、數據安全保護義務，同時具備爬蟲技術控制能力。

結論

網絡爬蟲抓取數據引發的爭議愈演愈烈，可以歸結為兩大原因：一是立法方面，傳統部門法具有一定的滯后性與被動性，行政法規制路徑存在邊界不清晰、難以和傳統部門法有效銜接等問題；二是司法方面，主要以傳統部門法為依據，導致刑事領域對爬蟲概念的認定較技術領域有所擴張，競爭法領域則存在過于依賴原則性條款，商業道德的標準認定不明晰。面對以上立法與司法困境，本文認為應以“基于風險的方法”作為爬蟲規制的路徑，形成基于風險的合規和基于風險的監管。進而，通過歸納既有司法判例，并對不同數據抓取行為構建流程化的風險場景識別框架，將其劃分為禁止行為、高風險、中風險、低風險或無風險四個風險等級，數據處理者對風險不同的技術措施予以不同的關注和合規措施，監管者同樣應基于數據處理行為風險的高低予以不同的監管力度。該種“基于風險的方法”與我國數據安全法第29條規定開展數據處理活動應當加強風險監測的方法相吻合，可以為數據處理者和監管者提供一個具體的風險管理指南，不僅為企業提供具有引導性、可操作性的數據抓取規則和合規目標，對可預期的法律風險進行動態的防范與控制，也使行政機關能夠對風險較大的抓取行為進行全階段的有針對性監管，以提高行政效能。