Android平臺惡意應用程序靜態檢測方法①

蔣煦,張長勝,戴大蒙,慕德俊

1(西北工業大學 自動化學院,西安 710071)2(溫州大學 物理與電子信息工程學院,溫州 325000)

?

Android平臺惡意應用程序靜態檢測方法①

蔣煦1,張長勝2,戴大蒙2,慕德俊1

1(西北工業大學 自動化學院,西安 710071)
2(溫州大學 物理與電子信息工程學院,溫州 325000)

摘 要:本文構建的靜態檢測系統主要用于檢測Android平臺未知惡意應用程序.首先,對待檢測應用程序進行預處理,從AndroidManifest.xml文件中提取權限申請信息作為一類特征屬性; 如待檢測應用程序存在動態共享庫,則提取從第三方調用的函數名作為另一類特征屬性.對選取的兩類特征屬性分別選擇最優分類算法,最后根據上述的兩個最優分類算法對待檢測應用程序的分類結果判定待檢測應用程序是否為惡意應用程序.實驗結果表明: 該靜態檢測系統能夠有效地檢測出Android未知惡意應用程序,準確率達到95.4%,具有良好的應用前景.

關鍵詞:安卓; 靜態檢測; 機器學習; 特征屬性; 惡意應用

隨著移動智能終端井噴式的增長,越來越多的人使用智能手機,智能手機的品牌雖然繁多,但智能手機的操作系統主要集中在Android和ios系統.2015年2月,IDC發布了2014年智能手機出貨量數據,采用Android和ios操作系統的智能手機出貨量占全部智能手機出貨量的96.3%,其中Android操作系統的手機出貨量為10.59億部,市場份額為81.5%.因此,基于Android平臺的第三方應用軟件如同雨后春筍,數以萬計,隨之而來的是惡意應用程序的問題.在中國,因為政策的原因,Android手機用戶無法從Google Play下載應用程序,缺少了Google Play對應用程序的審查機制.據360互聯網安全中心的報告顯示,2014年全國僅360互聯網安全中心累計截獲Android平臺新增惡意程序樣本326萬個.由此可見,Android平臺惡意程序的問題在我國尤為嚴重.目前,國內外典型的Android平臺惡意代碼檢測技術主要有基于特征碼和基于行為檢測這兩種方式[1].基于特征碼的檢測方法可以有效地檢測出待安裝的應用程序是否具備病毒特征庫中已存在病毒的特征,但無法檢測出未知的病毒,相對滯后.國外著名的Android惡意代碼檢測工具Androguard也是基于特征碼的方法[2].隨著惡意病毒及其變種不斷增加,會導致惡意代碼特征庫需要頻繁更新,制約了基于特征碼檢測方法的發展.當然,隨著云技術的發展,可以有效解決樣本庫內容不斷增加的難題.

基于行為的惡意代碼檢測主要是靜態檢測和動態檢測兩種方法,兩種方法各有利弊.就Android平臺而言,靜態方法主要是通過反編譯應用程序,獲取應用程序組件、權限、API等信息,選擇部分信息作為特征屬性,與惡意樣本庫中的樣本進行相似度比較,判斷待檢測應用程序是否為惡意應用程序.靜態檢測方法具有無需運行應用程序、代碼覆蓋率高、檢測時間短等優點,所以很多殺毒軟件都采用這種方法; 缺點是代碼混淆、加密等在程序運行時才恢復其真面目的代碼,采用靜態檢測方法無法檢測出[3].

動態檢測是指在虛擬機或手機上執行應用程序,通過捕捉系統關鍵數據的變化,如日志信息、文件訪問、數據庫等信息,對這些關鍵的行為進行分析,預測應用程序是否為惡意病毒.該檢測方法的優點是解決了代碼混淆、加密等需要程序運行才能檢測出的問題,同時也不需要維護惡意代碼特征庫; 但動態檢測的實時性要求比較高,需要持續地對系統運行狀況進行監測,對手機運行的性能有影響[4].

靜態檢測與動態檢測相比,優點在于: 靜態分析不受一個程序的特定執行過程約束,適用于程序的所有執行過程; 而動態檢測技術只能對符合特定的行為進行檢測[5].同時,靜態檢測能夠減少成本,提高性能.

1　相關工作

目前,Android平臺的惡意代碼檢測相對已經成熟,但主要針對特定類型的惡意代碼或者更多地依賴與惡意代碼特征庫樣本相似度的比較.該檢測方法在針對未知的惡意應用程序時,檢測的準確率有所下降.童振飛[6]采用抽取apk(Android Package)類名和調用函數名作為特征屬性,通過計算與樣本相似度的方法對Android apk文件進行分類.實驗證明,該方法可以有效的對APK進行分類,但整個實驗的樣本取自非惡意應用程序,設計為從隨機的應用程序中識別出一種類型的應用程序,沒有用真實的惡意應用程序作為樣本,同時該檢測方法局限于在JAVA層,未考慮動態共享庫的加載.秦中元等[7]設計的Android平臺惡意軟件靜態檢測的方法不依賴于病毒庫的收集和更新,能夠成功檢測出隱私竊取與惡意扣費的惡意行為,但檢測方法針對的惡意代碼類型局限,同時檢測的樣本數量過少.李子鋒等[3]采用靜態數據流分析技術,模擬應用程序的執行過程,通過跟蹤應用程序對常量值的使用,可以檢測出惡意行為,但是未對本地代碼進行安全檢測.李子峰在文中也指出40%的應用程序存在執行本地命令或加載本地庫文件的行為,加載本地代碼中可能存在提權行為.Schmidt[5]抽取應用程序的Elf可執行文件(包括惡意和非惡意應用程序)函數調用作為樣本,并運用Part,Prism和Nearest Neighbor Algorithms等算法對抽取的樣本進行分類,對于選擇的特征屬性而言,未必是最優的算法.楊歡等[8]建立了基于多類特征的Android應用惡意行為檢測系統,將靜態檢測與動態檢測相結合,能夠有效的判斷未知應用程序是否為惡意病毒.但該檢測系統構建的三層混合系綜算法選擇的基礎分類器都屬于強分類器,而系綜算法選擇的基礎分類器應該為弱分類器[9].本文采用楊歡的系綜算法對樣本進行測試,發現對特征屬性進行系綜分類后效果不如單一的強分類器,說明該分類算法不夠完善,理論上存在缺陷.

基于上述研究,本文更加專注于動態共享庫的分析、特征屬性的選擇和數據挖掘算法的研究,構建由應用程序申請的權限分析模塊和加載的動態共享庫分析模塊相結合的全新的Android平臺惡意應用程序靜態檢測系統.

2　檢測系統架構

Android的權限機制是Android系統在Linu-x的權限管理基礎上擴展的一種安全保護機制,這些控制權限包括撥打電話、定位、網絡使用等100多個內置的權限,位于Android系統的框架層,它的主要任務是對應用程序可以執行的某些操作進行權限細分和訪問控制,限制應用開發者對系統資源或者用戶信息的濫用.同時Android系統不允許動態注冊權限,在安裝應用程序之前就必須申請應用程序所需要用到的權限[10].由于Android應用程序需要在AndroidManifest.xml中使用標簽來標注所申請的權限.所以本文對應用程序的AndroidManifest.xml文件進行掃描,提取應用程序申請的權限信息作為特征屬性進行分析.

實驗所用的惡意應用程序來源于參考文獻[11],從中隨機抽取300個惡意應用程序進行分析,發現惡意應用程序樣本中有55%含有動態共享庫,而從Google play下載的300個非惡意應用程序樣本中僅有39%包含動態共享庫,說明惡意應用程序更傾向于使用動態加載技術.因此,本文將動態共享庫作為重要研究對象之一.

本文Android平臺靜態檢測系統架構如圖1所示.首先,待檢測的應用程序通過預處理模塊處理,該模塊使用apktool工具反編譯應用程序,可以得到Android應用程序的源代碼、圖片、XML配置、語言資源等文件.其中配置文件AndroidManifest.xml描述了package中暴露的組件、權限、啟動位置等,用Python語言編寫的代碼掃描AndroidManifest.xml,提取標簽后面的申請權限作為特征屬性; 將應用程序的文件類型改為zip格式,對其解壓縮,如果存在動態共享庫,就對其執行Android NDK工具包中的readelf命令,得到ELF(Excutable Linkable Format)文件的存儲結構和內容,提取出來自外部調用、動態共享庫或者系統調用的函數名,將這些抽取的函數名作為特征屬性.將上述的兩類特征屬性作為綜合檢測模塊的輸入,作出應用程序是否為惡意應用程序的判定.綜合檢測模塊里會對兩類特征屬性分別進行分類算法的,如果其中任一特征屬性分類結果為惡意應用程序,則判斷該待檢測應用程序為惡意應用程序.

圖1　靜態檢測系統架構

3　關鍵技術與算法

3.1特征屬性提取技術

在數據挖掘的研究中,會通過計算樣本距離來比較樣本之間的差異,而樣本距離是通過屬性來計算的.不同的屬性在樣本空間的權重是不一樣的,即關聯度不同,因此有必要進行屬性選擇.有些研究者認為應用程序中存在敏感權限的組合即為惡意應用程序,本文認為這種方法不具備實際應用的價值,比如應用程序“百度地圖”就會在安裝時,申請獲得地理位置、Internet等敏感權限,雖然惡意應用程序申請這樣的敏感權限組合頻率更高,但并不代表“百度地圖”是惡意應用程序.本文從實際出發,在所有惡意應用程序申請的權限中選取信息增益高的申請權限作為特征屬性,通過機器學習,去挖掘惡意應用程序申請權限的規律,用于檢測未知的惡意應用程序.首先使用apktool工具反編譯從參考文獻[11]中隨機抽取出的500個惡意應用程序和從Google Play下載的500個非惡意應用程序,得到1000個應用程序的AndroidManifest.xml全局配置文件,掃描這1000個全局配置文件,提取出所有應用程序申請的權限,使用Weka工具采用InfoGain算法對提取出的申請權限特征屬性進行篩選,最終選定信息增益超過設定閾值的95個申請權限特征屬性.

目前,大多數針對Android平臺惡意應用程序的行為研究主要集中在Java層,依賴于控制流程與數據流程的分析,即如果惡意應用程序將靜態信息存在Java代碼中,能夠有效地檢測出來.但惡意應用程序的開發者為了躲避檢測會采用動態加載技術,則Java層的檢測方法完全失效[12].所以,本文將動態共享庫作為研究的一個重要方面.如果待檢測應用程序中存在動態共享庫,則對其執行Android NDK工具中readelf命令,得到ELF文件的存儲結構和內容,包含了代碼、數據、符號表、字符串等信息.這些信息按不同的屬性,以段的形式存儲,其中就包括dynsym段,該段包含了在本文件中定義的全局符號以及本文件中引用的外部函數或者變量.通過對大量惡意和非惡意應用程序中動態共享庫進行分析可以發現,動態共享庫中從第三方庫調用的函數主要來libc.so,libstdc++.so,libm.so,liblog.so等Android平臺內置的共享庫.因此,本文將“dynsym”段中從第三方調用的函數名作為研究動態共享庫模塊的特征屬性,即該函數在符號表中的Type屬性為“FUNC”和“Ndx”屬性為“UND”,有這兩個標簽的函數意味著此函數來自外部調用、共享庫或者系統調用的函數.而本地定義的函數不予采納為特征屬性是因為惡意應用程序的開發者為了逃避檢測可以定義不同的函數名和變量名稱,而代碼執行內容卻不變.

3.2分類算法的選擇

算法的性能依賴于數據集的特性以及產生差異性的方法等因素,所以差異性是提高算法性能的一個重要因素[9].本文構架的靜態檢測系統主要依賴于兩個檢測模塊,一個是關于應用程序申請權限的檢測模塊,一個是關于動態共享庫中函數調用的檢測模塊.由于兩個模塊的特征屬性是不同的類型,所以為了使檢測效果更優,應該針對不同類型的特征屬性選擇最適合它的最優的分類算法.THEA[8]采用了系綜算法以提高針對不同特征屬性的基礎分類器性能,進而提高惡意應用程序的檢測率.

DroidMat[13]提取應用程序的Intent、API等作為特征屬性,采用了KNN和NB兩種分類算法用于檢測惡意應用程序.本文構建的靜態檢測系統所選取的分類算法結合前人的研究成果,選取分類算法差異性較大的4種算法,即KNN,NB,C4.5,Part算法,用10折交叉確認的方法對兩種特征屬性模塊進行不同分類算法的訓練.通過對訓練集分類結果的對照研究,選擇各自特征屬性的最優分類算法.圖2為選擇最適合該特征屬性的最優分類算法的過程.

圖2　選擇最優分類算法的過程

首先,創建動態共享庫函數調用檢測模型的訓練集,該訓練集由惡意應用程序和非惡意應用程序構成,惡意應用程序隨機取自于參考文獻 [11] 中的500個惡意應用程序; 隨機下載于Google Play商店500個非惡意應用程序,這1000個訓練樣本均含有動態共享庫,即lib文件夾下有后綴名為.so的文件,同時訓練樣本均使用目前主流的殺毒軟件進一步確認.

其次,對上述的1000個應用程序進行反編譯,利用4.1中介紹的特征屬性提取方法,提取Android Manifest.xml全局配置文件中權限申請信息作為一類特征屬性,如應用程序中存在動態共享庫,則抽取從第三方庫調用的函數名作為另一類特征屬性.

最后,使用Weka工具對兩類特征屬性進行分類算法的學習,從KNN,PART,C4.5,NB中選出針對該特征屬性的最優分類算法.因為Weka工具存儲數據采用ARFF(Attribute-Relati-onFile Format)格式,所以實驗需要用python語言編寫的程序將以上兩類特征屬性按照相應的要求編寫成后綴名為arff的文件.

最優分類算法的選擇取決于分類算法學習的結果,主要依賴于Accuracy、TP Rate、FP rate、Precision等相關指標參數.Accuracy反映了分類器對整個訓練集正確判斷的能力,即將惡意應用程序及非惡意應用程序都判斷正確的能力; TP Rate為某類被正確分類的訓練樣本占該類樣本的比例,同時等同于Recall; FP Rate是某類被誤判為另一類的數量占該類的比例; Precision為某類判斷正確的數量占結果判定為該類的比例; F-Measure是綜合Precision和Recall二者指標的評估指標,用于綜合反映整體的指標; ROC指標反映了分類器分類的效果,一般認為越接近0.5,模型準確率越低,最好狀態接近1,完全正確的模型面積為1.以下是相關參數指標的計算公式,如果是針對非惡意應用程序而言,t_ pos為非惡意應用程序被正確分類為非惡意應用程序的數量,t_ neg為惡意應用程序被正確分類為惡意應用程序的數量,f_ pos為惡意應用程序被錯誤分為非惡意應用程序的數量,f_ neg為非惡意應用程序被錯誤分為惡意應用程序的數量.

3.3綜合檢測模塊的建立

綜合檢測模塊從待檢測應用程序中抽取的兩類特征屬性通過各自最優分類算法的檢測,如果兩個特征屬性檢測模塊判斷結果中任一分類器判定待檢測應用程序為惡意應用程序,則判定待檢測應用程序為惡意應用軟件.綜合檢測模型如圖3虛線框內所示.

圖3　綜合檢測模塊示意圖

4　實驗結果

4.1實驗環境

本文檢測系統使用Java和python語言實現,自動化地檢測基于Android平臺的第三方應用程序.其中,兩類特征屬性的提取和判斷部分的函數由Python語言編寫的代碼實現,最優分類算法使用WEKA工具的jar包實現.隨機選取參考文獻中[11]500個惡意應用程序和隨機下載于Google Play的500個非惡意應用程序作為測試集進行測試,測試集和訓練集無交集.所有實驗在內存為4G,處理器為Intel(R)Core (TM)i5-3337U 1.80GHz的機器上完成.

4.2算法的選擇

對選取的兩類特征屬性分別進行KNN、PART、C4.5、NB機器算法的學習,得到表1、表2的結果,表1是申請權限信息作為特征屬性模塊的分類算法學習結果,表2是調用函數名作為特征屬性模塊的分類算法學習結果,表1和表2中的Class1是指500個惡意應用程序集合,Class0是指500個非惡意應用程序集合.分類結果的參考指標有很多,但不同的應用環境,關注的參考指標側重點不同.本文選擇特征屬性最優分類算法的策略: 在Accurracy、F-Measure、ROC參考指標數值接近的情況下,主要依據惡意應用程序的識別率(TP Rate)和非惡意應用程序的誤識率(FP Rate)來選擇最優算法,惡意應用程序識別率越高,非惡意應用程序的誤識率越低,越能說明該算法能夠有效地檢測出惡意應用程序.理由是本檢測系統的目的是為了檢測出惡意應用程序,惡意應用程序的識別率可以看出該算法是否能夠有效的檢測出惡意應用程序,非惡意應用程序的誤識率可以看出該算法將惡意應用程序判定為非惡意應用程序的情況,之所以看中這個指標是因為檢測惡意應用程序的算法將惡意應用程序判定為非惡意應用程序帶來的后果遠超過非惡意應用程序被劃歸為惡意應用程序.

通過比較,發現KNN算法對于兩個特征屬性檢測模塊都是最優分類算法,KNN算法的各項參考指標都優于其他分類算法.ROC面積指標也充分印證了對于這兩類特征屬性模塊而言,KNN算法分類效果最佳.所以,本文的兩個特征屬性檢測模塊均選取KNN算法作為分類算法.從表1、表2的對比,也可以看出動態共享庫中函數調用特征屬性的分類結果明顯優于申請權限特征屬性的分類結果,說明惡意應用程序的開發者利用動態加載的技術十分普遍.

表1　申請權限特征屬性分類結果

0 　0.873 　0.061 　0.932 　0.873 　0.923 　0.879 1 　0.878 　0.076 　0.923 　0.878 　0.9 　0.945 PART 0 　0.924 　0.122 　0.88 　0.924 　0.901 　0.945 90.06 1 　0.976 　0.165 　0.86 　0.976 　0.914 　0.955 NB 0 　0.835 　0.024 　0.971 　0.835 　0.898 　0.955 90.68

表2　函數調用特征屬

4.3實驗結果

將測試集的1000個應用程序(并非所有應用程序都包含動態共享庫)通過本文架構的靜態檢測系統,得到的混淆矩陣如表3,準確率為95.4%.惡意應用程序的識別率95.8%,惡意程序的誤識率4.2%.測試結果充分證明了該模型能夠有效檢測出惡意應用程序.通過表1、表2、表3的對比,可以發現檢測系統的Accuracy指標相對于單一的檢測應用程序申請權限KNN算法分類結果的Accuracy指標有所提高,但相對于單一的動態共享庫函數調用特征屬性的KNN算法分類結果而言,Accurancy指標有所下降.這是因為所有的應用程序都有AndroidManifest.xml全局配置文件,表1的訓練集的元素可以是任一應用程序; 表2的訓練集是從包含動態共享庫的應用程序中隨機抽取的,而最后測試集是隨機抽取的1000個惡意和非惡意應用程序,即有些應用程序不含動態共享庫.所以本檢測系統將兩個分類器集成于一體,隨機抽取應用程序作為測試集,更具有實際應用的價值.

表3　本文檢測系統的混淆矩陣

4.4與其他檢測系統比較

目前針對Android平臺惡意應用軟件的檢測研究成果有許多,但由于實驗采集的樣本不同,樣本中包含動態共享庫的應用程序所占比例不同,直接會導致不同的檢測結果; 而且大部分的研究成果都只給出思路和方法,未公布源碼; 另外,由于本文的惡意應用程序的實驗樣本均取自于2013年之前的,對于主流的殺毒軟件而言,其MD5值早已在其病毒的特征庫中.所以,本文未與其他的檢測系統進行橫向比較.但就其它研究者的研究內容看,檢測系統的架構組成復雜,當然特征屬性選擇越多,靜態檢測與動態檢測相結合等手段會提高惡意應用程序的檢測率,但相對于本文的檢測系統需要消耗更多的成本,并且從其他研究者公布的研究成果看,惡意應用程序的檢出率一般在94%左右.綜上所述,本文的靜態檢測系統在不影響檢測率的情況下,具有高效、輕便的特點,對資源的依賴更少.

5　結語

本文靜態檢測系統采取應用程序申請權限分析模塊與應用程序加載的動態共享庫分析模塊相結合的方法,分別采用適合于模塊特征屬性的機器算法,能夠有效地檢測出Android平臺未知惡意應用程序,具有高效、輕便的特點.但仍然存在需要在后面的研究工作中完善的地方:

① 本檢測系統的第一步工作就是對應用程序進行反編譯,軟件開發人員為了防止自己的應用程序被反編譯,會采取加殼等手段,本檢測系統未考慮這部分,所以會出現部分應用程序無法檢測.

② 靜態檢測和動態檢測各有利弊,存在互補的關系.下一步要重點研究動態檢測,將靜態檢測判斷為惡意應用程序作為動態檢測的重點,將動態檢測系統集成到本文檢測系統中.

參考文獻

1李華,劉智,覃征,等.基于行為分析和特征碼的惡意代碼檢測技術.計算機應用研究,2011,28(3):1127–1129.

2王菲飛.基于Android平臺的手機惡意代碼檢測與防護技術研究[碩士學位論文].北京:北京交通大學,2012.

3李子鋒,程紹銀,蔣凡.一種Android應用程序惡意行為的靜態檢測方法.計算機系統應用,2013,22(7):148–151.

4Enck W,Gilbert P,Chun B,et al.TaintDroid: An informationflow tracking system for real time privacy monitoring on Smartphones.Proc.of the 9th USENIX.Vancouve.BC,Canada.2010.1–6.

5Schmidt AD,Bye R,Schmidt HG,et al.Static analysis of executables for collaborative malware detection on Android.Proc.of the 9th IEEE International Conference on Communications.Dresden,Germany.2009.631–635.

6童振飛.Android惡意軟件靜態檢測方案的研究[碩士學位論文].南京:南京郵電大學,2013.

7秦中元,徐毓青,梁彪,等.一種Android平臺惡意軟件靜態檢測方法.東南大學學報,2013,43(6):1162–1167.

8楊歡,張玉清,胡玉璞,等.基于多類特征的Android應用惡意行為檢測系統.計算機學報,2014,37(1):20–26.

9王秀霞.分類器的選擇性集成及其差異性研究[學位論文].蘭州:蘭州理工大學,2013.

10劉智偉,孫其博.基于權限管理的Android應用行為檢測.信息網絡安全,2014,(6):72–76.

11Zhou YJ,Jiang XX.Dissecting Android malware: Characterization and evolution.Proc.of the 33rd IEEE Symposium on Security and Privacy.Oakland,USA.2012.95–109.

12文偉平,梅瑞,寧戈,等.Android惡意軟件檢測技術分析和應用研究.通信學報,2014,35(8):78–85.

13Wu DJ,Mao CH,Wei TE,et al.DroidMat: Android malware detection through manifest and API calls tracing.Proc.of the 7th Asia Joint Conference on Information Security.Tokyo,Japan.2012.62–69.

Static Detection of Android Malware

JIANG Xu1,ZHANG Chang-Sheng2,DAI Da-Meng2,MU De-Jun11(Department of Automation,Northwestern Polytechnical University,Xi’an 710071,China)
2(Department of Physics & Electronic Information Engineering,Wenzhou University,Wenzhou 325000,China)

Abstract:The static detection system referred in this article is used to detect unknown malware.First of all,the Android application sample is preprocessed and permission information that the application developer applies for is extracted as a kind of characteristic attribute.If there is shared object file,the name of function called from other libraryis is extracted as another kind of characteristic attribute.Secondly,the two optimal classifiers chose are used to hand two classes of features separately.Finally,the result of comprehensive judgment system depends on the result of classifiers about two types of characteristic attribute.The result of experiment shows that the static detection system can detect the unknown malware efficiently,and the accuracy of the static detection system reaches up to 95.4%.

Key words:Android; static detection; machine learning; characteristic attribute; malware

基金項目:①國家自然科學基金(61303224);浙江省科技廳公益項目(2104C31079)

收稿時間:2015-07-10;收到修改稿時間:2015-09-08