攻擊人工智能系統對社會治安的危害與對策

（中國人民公安大學國家安全學院 北京 100038）

近年來，人工智能技術在計算機視覺、自然語言處理、語音識別等領域取得了突破性進展，其在完成人臉識別等特定任務上的速度和精準度已追平甚至超越人類。社會各個行業都已開展了人工智能系統的應用，對其進行攻擊會給社會治安帶來嚴重的危害。人工智能系統的安全性直接攸關人民生命財產安全。公安機關作為維護社會治安主要責任機關，開展攻擊人工智能系統的防范對策研究迫在眉睫。

1 攻擊人工智能系統的方法對社會治安的危害

惡意攻擊者攻擊人工智能系統的方法主要包括對抗樣本攻擊、數據污染攻擊、模型萃取攻擊、系統漏洞攻擊、模型后門攻擊以及模型逆向攻擊。攻擊者利用攻擊達到的目的可以大致分為兩類：（1）竊取系統內的信息或者模型信息；（2）干擾人工智能能系統功能或降低其性能[1]。這些攻擊方式所達到的這兩類目標會對社會治安產生一系列的危害，具體可分為以下幾種。

1.1 危害交通安全

智能交通對于國家的發展起著至關重要的作用，在2019 中國智能交通年會上，介紹了交通運輸的幾個重要的工作，包括自動駕駛、智慧公路和智能航運三個方面。人工智能技術是智能交通實現的支撐力量，但是攻擊者利用攻擊人工智能系統來干擾系統功能會對智慧交通產生很多現實的危害。

對于自動駕駛的交通工具，密歇根州華盛頓大學和加州大學伯克利分校的研究人員在2017 年通過研究發現，利用對抗樣本攻擊的方式，將停止標志進行小幅度的調整，則可使自動駕駛汽車的計算機視覺算法不可見[2]，這意味著黑客可以強迫自動駕駛汽車以危險的方式行駛并可能導致事故，這樣路標路牌就成了一個非常大的危害。與傳統交通相比，人工智能帶來的智能交通將會給人類社會帶來巨大的人力成本的節約，如在貨運、物流等方面的使用度會越來越高，但是在自動駕駛技術內，對判斷、路測等方面的智能算法的攻擊也會給路面交通，海面航行帶來巨大的挑戰。根據對抗樣本攻擊中對抗樣本的不同，攻擊者也可以使用帶有語意的激光束來命令汽車的走向，使得汽車錯誤的聽從攻擊者發出的激光束的語意來行走，這對交通安全將會產生極大的危害[2]。攻擊者利用模型后門的攻擊方式也會對交通安全產生巨大的安全隱患，如果在訓練自動駕駛汽車的智能系統時就植入后門，如將右轉交通標志牌上添加trigger 后，將會被后門模型預測為左轉標志牌。因此在使用模型之前，檢查預先訓練的DNN 是否已經被木馬化是必不可少的。

1.2 擾亂治安管理

目前，在維護社會治安的智能設備中，使用最多最為廣泛的智能設備之一就是智能攝像頭。智能攝像頭對維護社會治安來說起著至關重要的作用，智能攝像頭主要使用于公民的日常生活，例如攝像頭門禁、智能手機開鎖、臉部識別支付等，對于公安機關，智能攝像頭通常設置在道路、卡口、銀行等處，可用于人像的捕捉和案件預警，追捕犯罪嫌疑人和犯罪嫌疑車輛。但是通過攻擊人工智能系統來干擾智能系統的功能，會使得這些設備不能進行有效的使用。經過實驗，若用特制的紙片戴在識別對象身上，則會使得智能攝像頭不能辨認出人的信號，這樣公安機關在抓捕逃犯或者智能攝像頭在預測預警時，嫌疑人即可以逃脫智能攝像頭的捕捉。除了對抗樣本攻擊，模型后門的攻擊方式還可以在訓練中設定攻擊者指定的人臉觸發器，讓系統對于攻擊者設定的指定人臉不能正確識別。同樣對于攝像頭門禁等，對智能攝像頭系統進行攻擊，也可以使得攝像頭出現識別失誤，對社會治安的預測預警工作和公民人身、財產安全都會帶來危害。

1.3 侵犯公民人身權利

公民人身權利主要包括公民隱私權、姓名權、肖像權等。竊取、售賣、不法使用公民人身信息，會造成對公民各類人身權利的侵犯。隨著科技不斷發展，現在人工智能系統的使用已經遍布各行各業。人工智能系統內數據量大，并且公民的個人信息、生活信息等不斷被這些智能系統所記錄并保留下來。如今售賣公民信息的案件層出不窮，且以低價就能購得大批量的各類公民信息，若這些擁有巨大信息量的公司和企業的人工智能系統被攻擊，那么公民的這些信息將會被竊取，公民的隱私權將會受到侵犯。如果公民的照片、姓名等被竊取并被用于牟利或者違法使用，也會侵犯公民的肖像權和姓名權等人身權利。同時，公民的這些個人信息被竊取，將會產生一系列的人身或者財產的安全隱患問題。

1.4 侵犯公民財產權利

科技的進步雖然給人們帶來了諸多便利，但是在帶來便利的同時也給經濟犯罪提供了越來越有利的詐騙和勒索的手段。通過攻擊人工智能系統竊取信息不僅僅會導致公民個人信息泄漏，侵犯公民人身權利，還會侵犯公民的財產權。獲取公民一系列個人信息可以使得盜竊犯罪分子可以進行推斷家庭人口情況、年齡分布和數量還有收入情況，可以幫助其有效分辨哪些家庭比較容易著手進行盜竊。現在電子商務行業非常發達，根據2019 年電子商務行業數據報告來看，2019 年移動購物用戶規模達7 億人，快遞企業業務量達156.1 億件，如此龐大的用戶數據量，如果被竊取將會產生大量的連鎖犯罪，如犯罪分子在竊取到公民購物信息和快遞信息后，可以將信息售賣以侵犯公民隱私權，犯罪分子還可以使用該信息制作假的快遞包裹“送貨上門”，欺騙購物者不知情的家庭成員以貨到付款的方式進行詐騙，受騙人往往由于地址、姓名、電話、購買的物品等都能對上而相信犯罪分子并且將錢財給予犯罪分子。這類詐騙最近頻發，而且作案成功率較高，要杜絕這類犯罪，源頭是保護存儲信息的人工智能系統，使得公民的信息不受侵犯。公民信息被竊取除了會誘發詐騙犯罪以外，甚至還會誘發勒索犯罪。若公民個人不愿意被其他人知道的隱私被攻擊者竊取，那么很有可能會發生攻擊者利用竊取到的隱私信息威脅公民，來獲取錢財的犯罪行為。

2 攻擊人工智能系統面臨危害的對策

攻擊人工智能系統給社會治安造成的危害是多方面的。隨著科技的不斷進步，攻擊人工智能系統的方式也不斷增多。數字化社會里，公安機關使用的人工智能系統存儲了大量的秘密信息和公民信息。如果被攻擊，那么造成的后果往往不堪設想。公安機關作為維護社會安全與和諧穩定的權力機關，亟須對這些攻擊采取相應的防范對策，以免其造成嚴重的危害結果。

2.1 強化公安機關技術防范能力

由于在公安工作中公安隊伍技術力量較為薄弱，許多供其使用的人工智能系統都是公安機關與外界公司聯合開發。公安機關只需要負責提供系統的功能需求，系統的開發則交給外界公司。這樣會導致系統開發后交給公安機關使用時，由于人工智能系統的黑盒特性，公安機關很難從一開始發現系統可能存在的被攻擊的風險。所以，對于公安機關來說，加強技術防范，掌握應對攻擊的方法，是智慧化警務不斷深入推進的必備要求。

2.2 建立人工智能系統安全評估體系

目前，人工智能系統遭受攻擊的事件時有發生。許多人工智能系統正在遭受到多種攻擊的威脅，這對社會造成了一些危害。對于國家機關使用的人工智能系統，如果受到攻擊，造成的危害會更加嚴重。所以對于一些具備收集信息功能的、大型的人工智能系統，在使用前，應該經過科學合理的評估，再進入投放使用，更能保證人工智能系統在使用過程中的安全。

2.3 提高公民個人信息保護與財產安全意識

人工智能系統給商業發展和人民生活水平帶來大幅度提升的同時，也給公民人身權利和財產權安全造成了極大的隱患。由于科技發展水平日新月異，相應的攻擊手段的種類也不斷在增多，目前攻擊者攻擊人工智能系統，會造成公民的個人信息泄露，從而導致公民的人身、財產權利受到危害。由于普通公民不具備技術上能防備個人信息泄漏的技能，且犯罪手段日新月異，所以公安機關在日常治安管理過程中，需要在日常的工作中給公民宣傳預防網絡上各種詐騙方式，告知其謹慎在不熟悉的網絡平臺上進行操作。

2.4 加強人工智能從業人員及企業管理

隨著我國科技水平的不斷發展，我國特種行業和特種作業人員的范圍也在不斷修改之中。人工智能從業人員隨著社會的發展，能做到的事情也就越來越多。如同開鎖行業的開鎖工，現在的人工智能從業人員可以利用自己的技術手段幫助人們開通憑借人力辦不到的“鎖”，也能使用自己的技術私自開“鎖”，竊取公民各類信息，破壞人工智能系統，對社會造成非常大的危害，并且這類危害會隨著社會的發展越發嚴重。所以，對于新時代的人工智能行業，公安機關作為社會治安的管理者與維護者，需要將人工智能行業與從事人工智能行業的人員納入日常管理的特種行業和從事特種行業人員內部，進行必要的監督與管理。

3 結束語

隨著人工智能在對公安、衛生、金融、交通等眾多行業的助力作用日趨顯著，攻擊人工智能系統給社會治安等方面帶來的危害也日趨嚴重。公安機關需要不斷探索對人工智能進行合理管控的方式，全方位提升警察的專業素質及公民的基本素質，建立專門的管控部門及培養專門人才，從而才能保證我國人工智能技術在不斷發展的前提下，與社會安全保持一個良好的平衡，從正向推動國家與社會的發展。