摘要：伴隨著互聯網技術的不斷演進，基于電子商務的網絡購物平臺日益廣泛流行。在電子商務的應用過程中，對于不同客戶的區別定價行為已經嚴重損害著用戶的實際消費體驗。電子商務平臺基于自身的平臺優勢，對個人用戶在重復交易中設置高價。這種大數據殺熟使得相同的商品或服務對不同的消費者呈現出不同的價格，這種現象嚴重違背了公平交易的原則。文章設計了一種基于Python語言的大數據殺熟對抗方法，可以有效避免用戶支付過高的商品售價，有助于節約用戶開支，優化個人用戶的網絡購物體驗。

關鍵詞：大數據；殺熟；Python

中圖分類號：TP393文獻標識碼：A

文章編號：1009-3044（2024）35-0074-02開放科學（資源服務）標識碼（OSID）：

0引言

基于電商平臺企業的大數據“殺熟”行為不同于傳統線下“殺熟”行為，其最大特性在于隱蔽性。與傳統差別定價不同，電商平臺基于大數據技術的“殺熟”行為并不為消費者所知[1]。消費者渴望公平的消費環境，而大數據殺熟使得相同的商品或服務對不同的消費者呈現出不同的價格，這嚴重違背了公平交易的原則。當消費者發現自己可能被“殺熟”時，會產生被欺騙的感覺，從而降低對商家的信任度。因此，需要有效的對抗手段來確保每個人都能以合理的價格獲得商品和服務，維護消費者的合法權益。

對于普通消費者而言，每一筆消費都需要精打細算。如果因為大數據殺熟而多支付了費用，將會給個人經濟帶來壓力。通過對抗大數據殺熟，可以讓消費者更好地掌控自己的消費成本，合理安排支出[2]。消費者的消費選擇受到大數據殺熟的影響，當消費者意識到自己可能被區別對待時，會對消費決策產生疑慮。他們可能會花費更多的時間和精力去比較不同平臺的價格，或者對某些商家產生抵觸情緒，這不僅降低了消費的便利性，也影響了市場的正常競爭秩序。通過對抗大數據殺熟，可以讓消費者更加自信地進行消費選擇。

1系統分析與設計

大數據殺熟這一行為的本質是：通過大數據分析和預測手段，對于同樣的商品和服務，對不同對象收取不同價格的現象[3]。可通過畫像偽裝、畫像模糊和數據保護三個方面來避免大數據殺熟。從畫像模糊和畫像偽裝的角度進行防“殺熟”是本項目的重點方向。對于各個電商，商品瀏覽均可以先以匿名用戶開始。本項目通過用戶輸入商品名稱，彈出商品彈窗，顯示商品的名稱、圖片、價格、電商平臺和店主信息。用戶點擊商品便可以跳轉到各個電商平臺查看商品。

因此，可以設計如下流程來對抗電商平臺的數據殺熟行為：預期通過大數據查找，搜索全網低價，利用電商之間對同一用戶的購買方向估算不同而導致價格不同的漏洞，進行防“殺熟”，來保障消費者權益。通過不同消費產品的地址處不同，來降低電商對消費者消費方向的估算，以達到防殺熟的目的。

1.1整體方案的技術路線圖

用戶信息搜集是大型電子商務平臺實施“殺熟”的核心基礎。規模較大的電商平臺會對用戶行為進行跟蹤：一方面可以防止匿名用戶進入（如爬蟲工程師爬取數據采用匿名化用戶）；另一方面可以搜集用戶信息，為其推薦興趣商品，提高用戶購買率[4]。在實際的電子商務平臺中，系統設計人員會在具體的網頁界面中使用“埋點”技術來搜集用戶信息。所謂“埋點”，即隱藏在網頁界面中的一段程序。該程序可以觀察用戶使用網頁的習慣，如鼠標點擊了哪些超鏈接、在每一個網頁的瀏覽時長等。這些埋點用于搜集用戶信息，包括：單用戶的單品訪問數、停留時長、頁面瀏覽數等，以及單商品的訪客數。這些采集而來的信息可以為“殺熟”提供幫助。電商平臺實施區別定價的技術原理如圖1所示。

舉例來說，當用戶A進入網頁頻繁點擊高檔數碼相機時，電商平臺通過以往的交易信息可獲知用戶的收件地址。如果收件地址周邊的房價高昂，系統便可能將產品以更高的溢價售賣給該用戶A。為了對抗電子商務平臺的這種“殺熟”行為，可以采用多平臺比價、模糊個人信息等技術手段來進行對抗。多平臺比價可以采用網頁爬蟲去搜集信息；模糊個人信息則可以通過自己搭建網頁（自建網頁僅含HTML等信息，去除了電商平臺的埋點功能），再跳轉到對應的平臺下訂單完成購物。

1.2基于Python爬蟲的商品信息比價模塊

商品信息比價功能模塊的主要功能需求是用戶在確定購物意向后，本系統可以在全網的主要電商平臺對同類型的產品信息進行爬取，然后通知需要購物的用戶。網絡爬蟲是一段計算機代碼，由開發者按照事先約定的規則編寫，能夠自動請求網站服務器數據并獲取目標數據的程序。網絡爬蟲技術即模擬人使用瀏覽器訪問互聯網資源，并收集服務器返回的數據。面對當前成熟的電子商務平臺，大多數電商網站采用HTTPS，而且對網絡爬蟲具有反爬蟲技術來阻止用戶使用編程手段搜集信息。本系統拓展了反反爬蟲技術：使用requests請求，檢驗網站是否帶有動態cookie；如有，則解析js查找cookie，改寫js。對于js動態加載的網頁，使用Selenium庫模擬瀏覽器行為并獲取通過js加載的數據。同時對于登錄要求，使用模擬登錄的方法。

針對用戶需求，本文采用Python爬蟲技術進行購物網站商品的爬取。通過Python爬蟲技術可快速爬取商品信息，操作簡單，效率高。爬蟲代碼基于re?quests、re、pandas、bs4這四個庫，分為四步爬取內容：

1）獲取URL，設置請求頭User-Agent，Headers的固定參數可以套用在不同網站上，更改cookie、referer和user-agent的數據即可。

2）發送請求，獲取響應的網頁內容。

3）解析網頁內容，提取數據。

4）使用DataFrame保存數據。主要爬取的商品信息包括圖片、簡介、價格等。

在運用Python爬蟲爬取網站時，大多網站會采用反爬手段，諸如：User-Agent識別、Refer檢查、IP限制、Cookie等技術手段來避免用戶使用程序采集網頁信息。為了能夠充分進行全網商品比價，本系統針對上述常見的技術手段進行了設計：對于User-Agent識別，可以對即將爬取的網站進行檢索，獲取User-Agent內容，放入headers；對于Refer檢查，則需要甄別路徑。Refer判斷當前路徑是否由上一個路徑進入，一般情況下，Refer用作圖片防盜鏈。攜帶cookie的情況下，大部分情況能夠通過Refer檢查；IP限制是常見的反爬策略，在爬取網站時，網站會識別IP地址，來防止多次爬蟲請求。使用proxy可以掩蓋真實的IP；最后一項是常見的cookie限制。在使用爬蟲爬取網站信息時，部分網站會使用cookie進行反爬。本設計采取的具體策略是：

在進行網站瀏覽時，部分網站要求用戶登錄才能查閱更多信息，而作為爬蟲，則采用匿名化訪問，繞過登錄頁面來爬取信息。使用重放請求進行技術驗證：如果刪除該網站的cookie值后重放該請求仍能獲取相同的數據，則表明該網站未設置cookie反爬；如果發現重放獲得的數據包大小與正常請求獲得的數據包大小不一致，則說明該網站設置了cookie反爬。

在確定每次請求的cookie都不會對固定值進行反爬后，刪除cookie中的變化值，即可應用爬蟲技術進行信息采集。對于淘寶、京東等大型網站，依然遵守其Robots協議且合法合規地在網站要求下索取數據，通過用戶提交的賬號密碼進行登錄，爬取已知信息，再進行多次比較商品信息，由用戶自行選購。

1.3隔離用戶信息埋點的獨立網頁交互模塊

通過技術埋點是當前主流電子商務平臺采集用戶信息的重要技術手段。隔離帶有用戶采集信息的電子商務網頁，便可以有效地減少電子商務平臺基于用戶信息所進行的“殺熟”行為。本系統的主要功能需求包括三大類：第一，用戶可以準確找到所需要的商品；第二，用戶可以進行下單等基礎操作；第三，用戶可以及時查看是否下單成功。為了方便用戶使用，在對抗大數據殺熟的工程實踐中，還必須考慮非功能需求，如：響應時間要盡可能簡短，在進行特定條件搜索行為時，用戶要在5秒內得到搜索結果；要注意隱私安全，系統會依據程序清除用戶瀏覽網頁留下的所有cookies，從而使網頁平臺無法收集到用戶的個人隱私。

2結束語

基于Python的大數據殺熟對抗技術是有針對性地解決電子商務平臺對消費者實施價格歧視的有效策略。本文采用在線Web訪問的形式，極大地提高了用戶的網絡購物消費體驗。本系統采用基于爬蟲的商品信息采集比較的設計方案[5]，可以有效地隔離電子商務平臺的cookie信息綁定，進而提升了商品真實價格信息的透明化程度，節約了消費者的財務支出，促進了電商平臺公平交易的達成。

參考文獻：

[1]陳嶼涵.平臺經濟中的“大數據殺熟”現象：算法驅動下消費者的交易公平性問題[J].現代營銷（下旬刊），2024（7）：10-12.

[2]熊鴻儒，馬源“.大數據殺熟”問題實質、治理挑戰及對策[J].新經濟導刊，2023（9）：70-76.

[3]桂雨妍.平臺大數據殺熟中個人信息反壟斷保護之必要性研究[J].互聯網天地，2022（12）：47-51.

[4]韋建國，王玉瓊.基于網購平臺大數據的電子商務用戶行為分析與研究[J].湖北理工學院學報，2019，35（3）：34-38，57.

[5]鄒樂，王麗麗，褚甜甜.基于微信小程序的大數據殺熟比價系統的設計與實現[J].電腦知識與技術，2021，17（36）：57-60.

【通聯編輯：謝媛媛】

基金項目：南京工程學院大學生創新創業訓練計劃項目：大數據殺熟及其對對抗技術研究（項目編號：202411276305X）；江蘇省高等學校大學生創新創業訓練計劃python虛擬機內存管理研究（項目編號：202011276034Y）