基于數據處理與可視化的信息分析系統設計

張玉龍，丁錳

（中國人民公安大學，北京100038）

0 引言

隨著智能手機的普及，人們通訊方式的重心不斷轉移到微信等虛擬網絡社交工具上。當社交工具為我們的生活提供便利時，也有不法之徒利用其技術缺陷和匿名性等特點進行違法活動，而這些人大量的信息也就被保存在了社交工具上[1]。犯罪嫌疑人信息具有零散性、廣泛分布性、隱蔽性、多樣性等特點[2]。傳統的犯罪嫌疑人信息分析方法雖然可以獲取犯罪嫌疑人信息，但是效率低下且成本高昂。而數據處理與信息可視化技術依賴于擁有高性能處理器和顯示器的計算機，其處理信息具有高效性、便捷性、快速性、直觀性等特點[3]，所以對于嫌疑人信息的處理分析具有很高的適應性，避免了在短時間內無法分析出犯罪嫌疑人的重要信息和分析嫌疑人信息過程中的大量時間、金錢以及人力成本浪費等問題的發生[4]。

1 傳統的犯罪嫌疑人信息分析方法

傳統嫌疑人信息分析大致要經歷兩個階段，一個是信息的處理匯總，另一個是信息的分析總結。在信息的處理匯總階段，先將由走訪調查、電話信息調取和網絡信息調取等途徑獲取到的信息進行處理，這些處理包括辨別真偽信息、形式轉換、去除無關信息等。辨別真偽信息，即經調查分析在大量信息中區分出真實有效的信息和存偽的信息。形式轉換，即將某一類信息轉換為另一類信息，如視頻信息轉換為文本信息等。去除無關信息，即將收集到的大量信息中的與案件無關的信息去除。將處理后的信息匯總在一起，查漏補缺然后上報。在信息的分析總結階段，將上報的信息依據時間、空間、關聯性等進行分類。依據案件情況進行分析，將重要的信息點挑選出來，然后對這些信息點進行總結，以實現對嫌疑人信息的全面掌握[5]。

綜上可以看出，傳統的犯罪嫌疑人信息分析方法流程復雜且成本較高。由于犯罪嫌疑人信息是復雜的，而傳統的嫌疑人信息分析方法又具有上述劣勢[6]，其及有可能會錯過案件重要信息獲取的最佳時機，所以迫切需要一種能夠快速且高效便捷的分析嫌疑人信息的方法來滿足對嫌疑人重要信息獲取的需求。

2 數據處理與信息可視化技術

以數據處理與信息可視化為基礎的數據分析技術和依靠人力并且流程復雜的傳統犯罪嫌疑人信息分析方法相比，以數據處理與信息可視化為基礎的數據分析技術具有的明顯的優勢，如高效便捷、輕量化、直觀可視化等[7]。

2. 1 數據處理

數據處理（Data Processing）是用計算機收集和記錄數據，經加工生成新的信息形式的技術。數據處理大致分為數據的準備、處理以及輸出三個階段[8]。

在數據準備階段也稱作數據的錄入階段，傳統的做法是把數據脫機錄入到穿孔卡片、穿孔紙帶、磁帶或磁盤?，F在由于計算機軟硬件的發展，可以直接將數據輸入到讀取與寫入速度更快的存儲介質中去中，這樣大大提高了數據處理的效率。數據錄入完畢后，由寫好程序的計算機對其進行處理。計算機的數據處理方法，主要包括以下八種：數據搜集，即按需求采集相關的信息；數據轉換，即把數據轉換成計算機可以處理的特定形式；數據分組，即按特定規則進行有效的分類；數據組織，即整理數據或用特定的方法安排數據；數據計算，即進行特定的算術和邏輯運算以得到進一步的有效信息；數據存儲，把原始數據或者運算的結果存儲起來；數據檢索，依照分析的要求找出符合特定規則的數據；數據排序，把數據按一定規則排成次序。將處理完畢的數據，按照需求輸出為文字和數字的表格或報表等數據保存方式[9]。

2. 2 信息可視化技術

信息可視化利（Information Visualization）用計算機交互式地顯示抽象數據，從而使人們增強對抽象信息的認知[10]，其將信息對象的特征值抽取、映射、轉換、高度抽象和整合，用圖形、圖像動畫等方式表示信息對象的內容特征和語義信息。為了實現數據的可視化，Card等人提出了可視化參考模型[11]，如圖1所示。該模型描述了原始數據、數據集、可視形式和視圖之間的轉換關系，以及用戶根據不同的要求，通過人機界面進行可視化映射、數據交換、視圖變換等操作。

圖1信息可視化參考模型

將原始數據轉換成可視化系統可以使用的形式，分成兩部分工作。第一部分是將數據集映射成計算機可以理解的基本數據類型。第二部分是處理特殊事件，例如輸入錯誤、數據丟失、數據規模超出處理能力等。丟失的數據可以憑借插值獲得，大數據可以采用如聚合、采樣、過濾、分塊的方法來處理。將數據集轉換成可視化結構，包括顏色、幾何形狀、聲音等。把可視形式的數據映射到視圖中，在屏幕上顯示出可視化結構，并提供如導航等的各種視圖轉換功能。最后，使用者可以通過縮放比例、定義位置、裁剪等技術進行視圖變換[12]。

3 基于數據處理與信息可視化技術的嫌疑人信息分析系統設計

該系統以Python編寫，因為Python和其他編程語言相比能夠更好地支持圖形輸出、具有較少的程序代碼、更貼近自然語言邏輯的語法等[13]。系統基礎結構分為四部分，包括庫的導入、電腦操作系統的識別與區分、函數功能的實現、程序的自動運行，如圖2所示。

圖2系統的結構

3. 1 庫的導入

庫是代碼模塊化的一種體現，庫的導入可以使程序以更短的代碼行數去實現更復雜的功能。每個庫都有其特殊的功能，我們根據需求對其進行導入。由于系統具有數據處理、可視化及一些輔助功能，所以我們對相關庫進行導入。被導入的庫包括wxpy、platform、os、shutil、queue、threading、time、pyecharts、requests、PIL、re、random、math等。根據需求，系統庫的導入可以進行動態更新，以實現系統功能的完善。

3. 2 電腦操作系統的識別與區分

系統通過代碼獲取到操作系統信息，再與常見的操作系統類型進行比對。這里主要是區分常見的Microsoft Windows系統、Mac OS系統、Linux系統。系統比對完畢后，其會自動按照不同系統的代碼編寫形式去運行后續的代碼，以實現分析系統對于不同操作系統的兼容。

3. 3 函數功能的實現

系統定義了實現其主要功能的函數，這些函數功能包括分析關系人性別比例、分析關系人分布省份、分析關系人重要分布省份的重要城市信息、分析共同群聊數目最多的關系人、分析特殊關系人等。這些函數的主體部分由數據處理與信息可視化兩個部分構成。

（1）數據處理部分

通過使用嫌疑人手機微信掃描系統啟動后跳出的登錄驗證碼，嫌疑人的微信聯系人的昵稱、性別、備注、所在省份、所在城市、共同群聊數量等信息就會被存儲到計算機內存中，這樣就實現了數據的錄入。對于被錄入的數據系統根據不同的情況采取不同的數據處理方法。對于數據轉換的應用，系統將錄入的數據進行轉換，使其形式為一維或二維等易于計算機處理的形式；對于數據搜集的應用，系統依據不同類別的函數進行不同信息的采集，例如性別、所在城市和所在省份等信息；對于數據分組的應用，系統將被錄入的信息按照不同信息類型進行分類，如關系人屬于什么省份并將其按不同省份分為不同的組別；對于數據計算的應用，系統將不同類型的信息進行統計，如不同省份的人分組完畢后，系統將不同省份人數加和統計并比較排序；對于數據存儲的應用，系統將嫌疑人聯系人無需處理的信息或者經過計算方法處理的信息處理完畢后保存起來；對于數據檢索的應用，系統需要統計聯系人分布最廣泛地省份的市區分布情況，就要先查找省份信息再從其中去查找市區的信息；對于數據排序的應用，系統將被統計的信息依據一定的規則進行排序，如詞云圖統計時，將市區聯系人數量排名靠前的數據保留；對于數據組織的應用，如在統計特殊人群時，系統先將有星標聯系人、置頂關系人、不讓他看朋友圈關系人等檢索并統計，然后將這些數據組織到一起。在數據的輸出階段，系統將處理完畢數據存儲為列表或字典等形式。

（2）信息可視化部分

在數據集預處理與轉換的階段，一般分為兩個步驟，第一步是將數據集映射成計算機可以理解的基本數據類型。由于前面數據處理部分系統已經對這些數據進行了處理所以這一步就省略了。直接進入該階段的第二步，即處理特殊事件，如系統在進行某省市的各個市區的聯系人數量統計時，有些人沒有設置自己的具體所在省市的市區，導致數據在省市處有信息，在市區處無信息，在可視化結果處會出現無設置信息的市區處橫坐標顯示為空的情況，這就需要系統進行數據丟失的特殊事件處理。系統將無標注的市區值設為其他，在統計時無標注的市區信息就會被以“其他”進行統計，可視化圖表上市區顯示為空的地方的值變為“其他”，因數據丟失而出現的問題因此被解決。在可視化過程的核心階段，即可視化映射中，系統把數據集轉換為可視化結構。系統將根據有效性與表達性，對數據的可視化結構進行選擇。各類型數據集的可視化結構依據各類數據的特點其選擇是不同的，如系統將性別統計的可視化結構選擇為幾何形狀，如餅狀圖；對于聯系人所在地區省份，我們選擇中國地圖作為分布地點展示，并將各省份以不同顏色表示，深顏色表示分布數量多，淺顏色反之。對于重要省市的市區聯系人分布數量統計，系統使用柱狀圖展示，這樣可以有效地展示不同市區人數和各市區人數之間的對比關系。對于全國市區聯系人分布數量的展示，系統選擇城市詞云圖，分布人數多的前幾名市區會被呈現在圖中，并且顯示字體的大小代表人數的多少。在繪制轉換階段，系統將幾何類型數據映射到視圖中，并將可視化結構顯示到屏幕上。偵查人員可以根據需求對視圖進行一系列操作，如定義位置、導航和縮放比例等。

3. 4 程序的自動運行

系統首先初始化文件夾，然后啟動微信機器人。系統自動根據計算機操作系統類型執行相應的指令。在函數的調用部分，經由函數功能的實現部分定義的函數被依次調用，實現程序主要功能。為了清晰展示系統運行的進程，在函數調用的頭部和尾部都打印了提示語句。函數開始調用時顯示“某某函數正在運行，請耐心等待”，函數運行結束時顯示“某某信息分析完畢”。系統運行結束時，嫌疑人信息的分析結果就以可視化形式被保存在特定文件夾內，部分結果示例如圖3所示。

圖3部分結果示例

4 結語

高效便捷、輕量化、直觀可視化是數據處理與信息可視化應用在犯罪嫌疑人信息分析上的三個主要優勢。因為傳統犯罪嫌疑人信息分析方法的局限性，所以整個分析過程存在各種問題，例如，低效率并且不便捷、人力處理的信息量過大、分析結果不直觀化等。該系統以數據處理與可視化為技術依托，通過犯罪嫌疑人的微信驗證登錄，使其信息讀取到內存中，這樣使得信息錄入的過程變得高效便捷。在通過程序對內存中的信息進行數據處理，使將要用于分析的信息被單獨提取保存，這樣就使得需要處理的信息的體量變小。被保存的信息會被系統依據不同函數的功能進行分析，其結果以圖片形式保存，這就使得其結果具有直觀可視化的優點。在案件初期，我們可以通過該系統迅速確定嫌疑人重點排查關系人、重點排查地區等重要信息，使其成為輔助偵查破案的重要的信息分析方式。