未備案網(wǎng)站發(fā)現(xiàn)的技術(shù)手段探討

■ 海南 向遠(yuǎn)金

實施網(wǎng)站備案管理是行業(yè)主管部門加強互聯(lián)網(wǎng)管理的重要舉措，在加強行政管理的同時，使用適當(dāng)?shù)募夹g(shù)手段不僅可以節(jié)省人力資源，而且能大幅提升管理效率。本文通過對網(wǎng)站的接入機制的分析，提出了用技術(shù)手段發(fā)現(xiàn)未備案網(wǎng)站的方法。

未備案網(wǎng)站的接入形態(tài)

按照“先備案后接入”的原則，互聯(lián)網(wǎng)網(wǎng)站在接入前必須履行備案手續(xù)。絕大多數(shù)網(wǎng)站都依法依規(guī)履行了備案手續(xù)，但仍然存在少數(shù)未備案接入的網(wǎng)站，并且不易發(fā)現(xiàn)，主要有以下幾種情況：

1.虛擬主機網(wǎng)站

通過服務(wù)器空間分配及域名與空間對應(yīng)的技術(shù)，實現(xiàn)一個IP對應(yīng)多個域名的訪問，即通常所說的虛擬主機。

圖1 DNS分析網(wǎng)絡(luò)連接示意圖

2.專線私自接入網(wǎng)站

通過專線私自接入，網(wǎng)站主辦者如果沒有主動報備，運營商很難發(fā)現(xiàn)。

3.IP網(wǎng)站

網(wǎng)站沒有域名，通過一個IP+端口號的形式提供訪問，多為企業(yè)自建內(nèi)部使用的系統(tǒng)。

4.跳轉(zhuǎn)網(wǎng)站

通過跳轉(zhuǎn)服務(wù)器實現(xiàn)網(wǎng)站異地接入，當(dāng)用戶訪問一個域名時，第一次獲取的IP地市為跳轉(zhuǎn)服務(wù)器地址，第二次獲取的IP地址才是真正的服務(wù)器地址，該類網(wǎng)站是問題高發(fā)戶。

解決方案分析

針對上述網(wǎng)站接入的幾種形態(tài)，可采用如下技術(shù)方案：

1.DNS分析

通過鏡像方式，實現(xiàn)對DNS響應(yīng)流量的采集，實時分析DNS響應(yīng)流量，效率和準(zhǔn)確度高，發(fā)現(xiàn)網(wǎng)站范圍可覆蓋全省，包括虛擬主機、專線私自接入網(wǎng)站。

如圖1為DNS分析網(wǎng)站發(fā)現(xiàn)方案，在DNS上聯(lián)交換機鏡像DNS的響應(yīng)流量到一個千兆網(wǎng)口，并連接DNS分析服務(wù)器。

DNS分析服務(wù)器配置2塊千兆網(wǎng)卡，1個連接鏡像口，一個用于訪問INTERNET。DNS分析服務(wù)器實時接收并分析DNS的響應(yīng)流量，發(fā)現(xiàn)監(jiān)控IP范圍內(nèi)的網(wǎng)站信息。

2.HTTP分析

通過HTTP分析技術(shù)，可有效發(fā)現(xiàn)IDC內(nèi)虛擬主機網(wǎng)站，該技術(shù)對流入80端口的流量進行分析，處理數(shù)據(jù)量很小，效率高。與DNS技術(shù)相比，其優(yōu)勢在于不受訪問用戶所使用的DNS限制，只要IDC內(nèi)網(wǎng)站被訪問即可發(fā)現(xiàn)。

如圖2，通過在IDC核心交換機上，鏡像流入IDC內(nèi)的HTTP請求（80端口）并實時分析該流量，發(fā)現(xiàn)IDC內(nèi)網(wǎng)站。

3.爬蟲遍歷

相對于DNS分析及HTTP分析等被動發(fā)現(xiàn)網(wǎng)站的技術(shù)，爬蟲發(fā)現(xiàn)網(wǎng)站技術(shù)屬于主動發(fā)現(xiàn)網(wǎng)站的技術(shù)，該技術(shù)是通過爬蟲主動遍歷網(wǎng)站間的鏈接并分析這些鏈接達到發(fā)現(xiàn)網(wǎng)站的目的。

從效率上講，該技術(shù)不如DNS分析及HTTP分析效率高，但是該技術(shù)也是一種重要的未備案網(wǎng)站發(fā)現(xiàn)技術(shù)。作為DNS分析和HTTP分析技術(shù)手段的補充，爬蟲技術(shù)可發(fā)現(xiàn)上述兩種技術(shù)不能發(fā)現(xiàn)的未備案網(wǎng)站。

如圖3，爬蟲通過種子站點，作為抓取的入口，遍歷網(wǎng)站頁面的鏈接，通過URL分析網(wǎng)站的域名信息。

圖2 HTTP分析網(wǎng)絡(luò)連接示意圖

圖3 爬蟲遍歷網(wǎng)絡(luò)連接示意圖

4.IP網(wǎng)站掃描等技術(shù)

上述3種技術(shù)方案能有效地發(fā)現(xiàn)未備案的網(wǎng)站，對于IP+端口號作為訪問入口的網(wǎng)站，以及以跳轉(zhuǎn)服務(wù)器作為網(wǎng)站訪問入口的跳轉(zhuǎn)網(wǎng)站，在上述3種解決方案做適當(dāng)?shù)刈兓灿休^好地處理效果。

結(jié)語

通過技術(shù)方式實現(xiàn)未備案網(wǎng)站的發(fā)現(xiàn)，能有效地增強相關(guān)管理部門對互聯(lián)網(wǎng)的管理能力。網(wǎng)絡(luò)技術(shù)的發(fā)展日新月異，技術(shù)手段作為一種輔助管理方式，也要與時俱進，不斷改進和完善。