從算法發展研究人工智能應用問題與對策*

郭金朋 ，韓敏捷 ，許正榮

（1.浙江宇視科技有限公司，浙江 杭州 310051；2.安徽農業大學 信息與計算機學院，安徽 合肥 230036；3.中國科學技術大學 生命科學學院，安徽 合肥 230022）

0 引言

人工智能（Artificial Intelligence）是一門邊緣學科，一般被認為是自然科學和社會科學的交叉，涉及計算機、邏輯學、生物學、物理學、社會學、認知學、數學及統計學、心理學和犯罪學等。關于人工智能的定義，不同的學者有不同的見解。McCarthy[1]在1955 年將人工智能定義為“制造智能機器的科學與工程”。Andreas Kaplan 和Michael Haenlein[2]將人工智能定義為“系統正確解釋外部數據，從這些數據中學習，并利用這些知識通過靈活適應實現特定目標和任務的能力。美國麻省理工學院Winston 教授在《人工智能》中認為：“人工智能是研究如何讓計算機去實現人類做的智能工作”。美國斯坦福大學Nilson 教授指出：“人工智能是關于知識的學科，是怎樣表示知識、獲得知識并且使用知識的學科”。當前，比較普遍的認識是，人工智能是人通過創造機器來實現人類智能的技術，它的任務是研究與設計智能主體（Intelligent Agents）。智能主體指一個可以觀察周圍環境（perception）并作出行動（action），以達致目標的系統。由于人工智能主要通過計算機程序來實現智能技術，因此在計算機科學領域持續發展。目前人工智能的基本研究范疇有計算機視覺、自然語言處理、語音識別、知識獲取、感知識別、模糊控制等。近年隨著計算機領域基礎硬件的發展和軟件算法的優化，人工智能發展迅速，并得到了廣泛的應用。其主要應用有智能控制、機器人、自動化技術等。

人工智能擴展了人類的智慧，比人類思考更快、計算更快、輸出結果更快。以人工智能為代表的信息產業被迅速“賦能”，從早期的算法研究到現在的產品化，科技進步推動產業變革，人工智能結合現有基礎設備得以合理部署，前沿技術不斷落地，人工智能正一步一步地改變人類的生活。然而，人類在享受人工智能的智慧成果的同時，也面臨著人工智能的威脅。2014 年起，Amazon使用人工智能招聘軟件，該軟件對男性求職者有傾向性，被認定為性別歧視。2018 年3 月，Uber 自動駕駛汽車在美國Temper 市測試時，撞到一名女子，致使其死亡。Deep Fakes 可以支持面部交換。2019 年，美國Kneron 測試團隊在荷蘭機場用照片騙過智能登機終端。Facebook曾收集超過100 萬張圖片（約10 萬張人臉圖片）構建MS Celeb 用于商業公司的算法訓練和軍事面部識別研究等。人工智能是否能穩定運行，是否安全可靠，其開發和使用過程會不會侵犯人類的權利，如生命權和隱私權?人工智能的使用者是否有某些傾向而賦予人工智能傾向性等?人工智能的風險正逐漸受到人類的關注。

1 人工智能發展歷程

1943 年，Warren McCulloch 和Walter Pitts[3]提出人工神經元（Artificial Neuron）的概念，并給出其邏輯演算的數學模型，奠定了人工神經網絡（Artificial Neural Networks）的基礎。1950 年，Alan Turing[4-5]設計了一套機器智能測試方法，對機器表現智能行為的能力進行測試，提出了最早的機器智能概念“Baby Machine”（圖靈模型）。圖靈準則成為人工智能領域評價機器智能的重要標準。1956年，計算機學家、認知學家、神經學家等在Dartmouth 會議上正式提出“Artificial Intelligence”概念，一致認為，學習的任一方面及智能的任一特征都能夠被準確表達，因而可以制造機器來實現這些智能。1957 年，心理學家Rosenblatt[7]提出感知器（Perceptron）的概念，即具有簡單配置的單層神經網絡（One-Layer Network）。單層神經網絡可以實現基本形狀的區分（如三角形等基本圖形），使人們認識到人工智能的發展是有可能的。但是，囿于當時的計算機硬件，Rosenblatt F 的概念無法被廣泛應用。1960 年，Widrow 和Hoff[8]提出了一種在沒有隱藏層的兩層神經網絡中根據輸出誤差產生的隨機梯度下降法。1967 年，AMARI S[9]提出了一種在沒有隱藏層的兩層神經網絡中根據輸出誤差產生的隨機梯度下降法。1969 年，MINSKY M L[10]等人發表關于神經網絡的缺陷的論文，指出，基于單層神經網絡的感知器無法解決異或問題，因為人為設計出的特征層是固定的，不符合人工智能對智能機器的定義。至此，人工智能研究一度陷入困境。RUMELHART D E[11]等人在1986 年提出了第二代神經網絡（BP 神經網絡），是一種與最優化方法（如梯度下降法）結合使用的，用來訓練人工神經網絡的常見方法，推動了人工智能算法的進一步發展，同時，該算法存在梯度下降問題，這一缺陷限制了BP 神經網絡的快速發展。1989 年，LECUN Y[11]開發了用于使用卷積神經網絡（Convolutional Neural Networks，CNN）識別手寫數字的神經網絡體系結構，對于提高DL 的效率至關重要，他們提出了使用反向傳播算法直接從手寫數字圖像中學習卷積核系數的概念。手動設計參數依賴于研究者的經驗，而自動學習可以自動從數據中提取特征，代入系統進行運算，在效率和性能上表現更為優異，因此更受研究者的青睞。2006 年，HINTON G E[13]提出基于自適應編碼方法（Auto-encoder）的圖模型，并提出深度信念網改善神經網絡的梯度消失缺陷，由此深度學習的概念被提出，深度學習使機器能夠深層次提取特征，同時抑制人為因素對神經網絡模型好壞的影響，促進人工智能系統向更準確、更穩定、更智能的方向快速發展。2011年起，微軟將深度學習應用于語音識別研究，2012 年，Jeff 建立Google Brain，運用神經網絡進行貓識別的研究，建立高達10 億神經元的深度學習網絡，并將同樣的方法用于語音識別研究，將語音識別的誤報率降至20%，至此，人工智能應用在語音識別領域率先取得重大突破。此后，Google、科大訊飛、百度和Apple 等相繼進行語音識別的研究，并開發出Deep Voice、微軟小冰和蘋果Siri 等產品。2015 年，微軟計算機視覺團隊在ImageNet比賽中,其算法的誤報率為4.94%，而同等測試條件下，人類的誤報率為5.1%。這一結果表明人工智能的準確度超過了人類。2017 年，Demis 團隊設計的AlphaGo 打敗了世界圍棋排名第一的柯潔[15-16]。AlphaGo 的成功表明大數據、高算力、深度算法正在將人工智能推向新的高峰，這一階段人工智能正在接近人類智慧。

2 算法發展與缺陷

2.1 信息表示的不確定性

以牛頓為代表人物的確定性科學人物認為世界是有序的、確定的、和諧的，只要設定初始條件，就可以計算出未來的一切[19]。對于不確定性，他們的觀點是，不確定出現是因為人類先驗知識的局限性，或者對初始條件的計算有誤差。

麥克斯韋認為概率演算才是表達世界的真正邏輯，玻爾茲曼則在物理學中引入速記行，建立統計力學。當前，普遍被認可的觀點是，不確定性是客觀世界的基本特征，客觀世界的絕大部分現象都是不確定的，而確定的現象，都要在特定的邊界條件約束性才能發生[20-21]。

機器體獲取信息的不確定通常與以下方面有關：客觀信息存在和表達都具有隨機性、模糊性，基因突變，遺傳特征顯現，海水走向，甚至地震等，客觀世界充滿了隨機性。炊煙、云彩等常見的現象又無法通過準確的、規則的模型去反映，這都是模糊性的表現。隨機性可以“概率”來表達，并借助隨機變量的分布函數進行研究，例如，人工智能界應用比較廣泛的是以貝葉斯公式為基礎的貝葉斯理論，貝葉斯理論利用先驗知識和樣本數據來獲得未知樣本的估計，從而使原本不確定的信息能夠邏輯化地表達出來。1965 年，美國學者ZADEH L A[22]提出模糊集合論，對模糊信息的表達做出了突破性貢獻。在人工智能研究中，學者們通常通過模糊規則、模糊語義、模糊邏輯等方法來處理[22]。

2.2 模擬算法的不確定性

人工智能在發展過程中大致經過了符號主義（Symbolism）和連接主義（Connectionism）。符號主義（Symbolism）是由認知學家在人類腦科學等先驗知識的背景下提出的，側重邏輯演算，以先驗知識和推理能力建立起模擬人類行為的符號模型，以Warren McCulloch、McCarthy J和Simon H[17]的理論為代表。這一時期符號模型的應用要求模擬的知識沒有模糊性和二義性，即必須是準確的，但是推理模型研究者的經驗畢竟有限，模擬對象的知識存在極大的不確定性，因此符號模型面臨模型難以構建等困境。

連接主義（Connectionism）是由數學家和神經學家提出的，模仿人類中樞神經系統的神經元，構建具有類神經元的網絡模型（神經網絡），來實現機器的智能。這一理論是建立在如下假設之上：心理現象可以用統一的、簡單的相互連接的網絡來表示。因此，連接主義學派又稱為仿生學派。連接主義學派的神經網絡算法分為兩個階段，第一階段，即人工智能發展早期（1956-1986），Widrow 提出了有效的人工神經網絡設計方法，Minsky 論證了人工神經網絡的局限性，Rumelhart 提出了BP 神經網絡算法，使人工設計神經網絡方法得到了廣泛的應用。第二階段，即人工智能快速發展時期（1989 至今），1989 年LeCun 基于BP 神經網絡設計了自動學習的網絡算法，2006 年，Hinton 的自適應編碼方法（auto-encoder）奠定了深度學習的基礎，機器所認知的內容也從經驗知識邁向常識知識，從此人工智能進入深度學習時代。連接主義同樣面臨著不確定性帶來的挑戰[18]。人工設計神經網絡階段，神經網絡模型的好壞往往依賴設計者的先驗水平，同時，人類的認知也具有不確定性和局限性，對人工智能系統的優劣有直接的影響。

2.3 深度學習算法的缺陷

深度學習階段，當前深度學習算法在特定的數據庫（圖片、視頻等）進行演算，其準確率可以超過人類。但同樣囿于客觀世界的不確定性，深度學習算法同樣表現出魯棒性差的特點。

2.3.1 易被攻擊

SZEGEDY C[24]等提出深度學習具有反直覺性（counterintuitive）。第一，在高維神經網絡中，信息由空間攜帶，而非由單個的神經元攜帶。第二，深度神經網絡的輸入-輸出是不連續的，實驗表明，在圖像分類應用上，可以通過某些擾動欺騙神經網絡，導致其對圖像分類錯誤。對于這些擾動，可稱之為對抗樣本（adversarial examples），如圖1 所示（對抗樣本圖片鏈接http：//goo.gl/huaGPb）。Sezegedy 在同時提出，對抗樣本具有遷移性，即，通過一個網絡模型訓練出來的對抗樣本，不僅對該網絡模型具備攻擊性和欺騙性，它對其他的網絡模型同樣具有攻擊性和欺騙性。

圖1 對抗樣本產生

GOODFELLOW I J[25]則認為對抗樣本來源是高維空間的線性性質。對抗樣本的存在極大地威脅人工智能系統的安全性，此后，研究者們針對對抗樣本防御進行了一系列研究[26]。包括圖片預處理（pre-processing）、精餾法（defensive distillation）、正則化表達（regularize）、對抗性訓練（adversarial training）等。對抗樣本防御研究如表1 所示。JPG 算法處理對抗樣本如圖2 所示，精餾法原理如圖3 所示。

圖2 JPG 算法處理對抗樣本

圖3 精餾法原理

表1 對抗樣本防御研究

2.3.2 不可解釋性

淺層的神經網絡發展到多層的神經網絡，有兩個重要的變化，一是神經網絡輸入的信息不同，淺層的神經網絡需要人工提取特征并輸入，而深層的神經網絡不需要，只需要開發者輸入原始數據即可。二是多層的神經網絡層數明顯增多，且含有隱藏層，同時其性能有了較大的提升（2015 年的ResNet[33]已達到152 層）。深度學習模型的不可解釋性是由其學習本質決定的，是典型的黑箱算法。第一，深度學習模型較為復雜，含有大量的超參數。如數據采集、預處理、特征提取、特征選擇、神經網絡層數、單層神經元梳理、關聯性權重、線性和非線性表達等。不可解釋性給深度學習的應用帶來了潛在的安全威脅。在應用過程，在神經網絡的快速計算和收斂，一旦某個參數出現錯誤，在快速的收斂過程中，錯誤則被無限放大，同時由于大量的超參數存在，無法有效地排查是哪個參數出了問題，從而無法對相應的參數進行優化以規避或解決問題。這一障礙限制了其在醫療、無人駕駛、軍事航天等領域的廣泛應用。研究者們有的使用精餾、抗樣本訓練、梯度優化等方法來試圖消除擾動，在完成這一動作后再單獨處理可解釋性。Mike[34]等人將多個正則化的深度神經網絡與易于解釋的區域決策樹結合，在一定程度上提高了算法的可解釋性。

2.3.3 魯棒性

深度學習算法的準確率相對達到了很高的水平。在計算機視覺方面，2014 年，湯曉鷗[35]等在LFW 數據集上取得了97.35%的識別率，次年，Google[36]的FaceNet 在LFW 數據集上取得了99.63%的識別率。語音識別方面，微軟[37]在日常對話數據上的準確率達到了5.9%。然而，這一切都是有條件的，比如，在特定的數據集上、語義沒有二義性、確定信息以及限定領域。離開了特定的條件，表現往往不佳。比如在訓練集上可以達到較高準確度，在測試集上準確度往往較低。人臉識別中姿態、年齡、光照等問題沒有得到很好的解決。在生物特征識別、衛星、軍事等依賴高可靠系統的領域。深度學習的魯棒性亟待提高。

3 人工智能應用的問題

隨著人工智能基礎硬件[38-39]的飛速發展，基于深度學習的人工智能產業同樣快速發展，并在城市智能交通、智能安防、智能機器人、智能醫療診斷、智能無人機、智能醫療系統、智能網聯汽車等眾多領域應用廣泛[40]。人工智能產品研究和應用面臨著安全性和倫理性等諸多風險。

3.1 安全問題

3.1.1 不確定性

以隨機性和模糊性為基礎的不確定性給決策過程帶來了極大的困難。致使人工智能系統的決策具有不穩定性，不犯錯則已，一犯錯就是大錯。人工智能系統在決策過程中將不確定性以概率的形式表達出來，在決策過程中，同一時刻、相同環境也可能做出差異較大的決策；人類囿于自身大腦的思考水平，在進行決策時，往往傾向選擇自己思考的最優解，而人工智能系統擁有更加強大的“思考”能力，能在短時間進行大量計算并給出最優解，這一決策結果超過了人類先驗知識的決策結果，同人類的預期結果迥異。Kurzweil R[41]在《The singularity is near：When humans transcend biology》一書中表達了對“不可控”的擔憂。在應用領域，如生物信息學領域，研究者們用深度學習進行藥物分子適應性選擇和預測[42-43]，Michael[44]等人訓練基于基因特征的深度神經網絡模型，來研究遺傳變異，其他方面如醫療智能診斷[45]、遠程外科手術、智能機器人、無人機和自動駕駛影響最大。

3.1.2 易被攻擊

對抗樣本的存在決定了基于深度學習的人工智能系統會受到來自外界信息的“欺騙”，這些“欺騙”會同真實信息一樣，觸發人工智能系統，輸出一個正確的結果，這一問題對人工智能系統應用來講是致命的，是不可接受的。以生物特征識別[46]領域為例：生物特征識別（biometrics）是指利用生物個體本身的特征來區分生物個體的技術。主要研究領域有臉、聲音、指紋[47]、掌紋[48]、虹膜[49]等。近年來尤以人臉識別[50]較為火熱。生物特征識別被廣泛應用于公共安全[51-53]、智能支付[54]等領域。在實際使用中，由于對抗樣本的存在，在一些條件下，可以用靜態指紋或者人臉照片等輕而易舉地騙取人工智能系統的信任，從而獲取人工智能系統的授權[55]。近年來，研究者們嘗試用多種方法提高人工智能系統的辨別能力[56-60]，但依然無法消除影響。這些缺點限制了人工智能系統在銀行、公安等行業的使用。

3.1.3 不可解釋性

人工智能的核心深度學習算法擁有大量的超參數，且模型復雜，層級眾多，這些特點決定了人工智能系統的解釋性較差，造成算法黑箱效應[61]。算法黑箱帶來的影響有：（1）人工智能技術開發門檻降低，開發者只需要輸入初始化參數，算法即可自己進行多次迭代運算，輸出一個云端結果，但同樣的，一旦結果有誤，無從查起，更嚴重的是，算法在某個環節發生微小錯誤，這一錯誤隨著算法多次迭代后，會輸出不可控的、與預期大相徑庭的結果。在人工智能系統中，這類錯誤一旦出現，必將是致命的[62]。（2）交互和共享難度大，開發人員無法進行模型共享和平臺共享。（3）人工智能產品設計和開發人員的惡意使用會帶來災難性后果。黑箱具有極強的隱蔽性，在應用過程中容易被惡意利用，且難以預防。Armstrong S[63]在闡述人工智能軍備競賽模型中提到，擁有額外的開發團隊和團隊之間的敵意可能會增加AI 災難的危險，尤其是在承擔風險比開發AI 的技能更重要的情況下。

3.1.4 魯棒性

當前深度學習的應用屬于一種封閉式的、靜態的、簡單環境的應用，研究者們做了大量的假設和條件設定，以保證深度學習算法獲得很好的效果。隨著人工智能的快速落地，研究者們面臨的環境將不再限定為某些特定場景，而是要面向開放的、動態的、復雜的場景[64]。人工智能系統越來越多地面對高風險的應用，面對多元化未知的場景，如復雜環境的自動駕駛[65]、智能電網管理[66-67]、證券交易預測[68]、控制性武器使用[69]，人工智能系統要做得更精準，同時差的時候也不能太差，可以歸納成對“魯棒性”的要求更高[70-71]。

3.2 倫理問題

人工智能的倫理討論伴隨著人工智能發展的全過程[72]，一方面，人工智能的應用給人類生活帶來了極大的便利，擴展了人類的智慧，能做到人類做不到的工作。另一方面，人工智能是否會侵犯人類的權益以及如何保障人工智能系統（如智能機器人）的權益一直處于爭論中。由算法引發的人工智能倫理主要有：（1）責任界定問題。基于深度學習的人工智能系統具有超過人類的自我學習和計算能力，人工智能系統輸出的結果可能是好的，也可能是壞的。例如，在自動駕駛應用中，算法的不確定性會導致決策失誤，造成車禍；在生物特征識別中，人類可以使用欺騙樣本獲取生物識別系統的信任，從而完成包括鑒權、支付等一系列動作。（2）人工智能產品開發依賴于開發人員的道德約束。這一風險主要來自于人工智能算法的不可解釋性。人工智能算法具備自動化的特征，一旦開發人員輸入不當操作，無法及時停止，會致使不可預期的后果發生。

4 人工智能應用的思考

要創造和使用人工智能，至關重要的就是創造一個可信的人工智能，可信包括可靠、安全、符合倫理等。人工智能最終會以各種形態出現在我們的家中、道路上、醫生辦公室和醫院、企業以及社區中。因此增強人工智能的可信度極為重要。換言之，只有可信的人工智能才能為人類所接受。

4.1 算法層面

如果人工智能不能可靠地表現，那么就不能信任它。不可解釋、魯棒性差等從人工智能發展伊始便一直存在且沒有被完全解決。通常會看到，一個在特定環境下訓練有素的算法可以輕松地識別出一輛校車，而當這輛校車處于翻車狀態時，算法立即失去了作用。自動駕駛汽車行駛在復雜的、未知的、不可預測的環境中，醫療診斷系統在罕見的疾病分析上進行工作。世界是開放的、動態的，提高人工智能的可靠性是推廣其應用的關鍵。第一，建立可靠模型。具體方法如引入變量、先驗知識、邏輯推理和豐富認知模型，通過大量的現實場景獲取變量、知識，從而通過推理和訓練構造可靠性高的模型。第二，增強算法的可解釋性。深度學習的最大挑戰是黑箱效應。最大限度減小黑箱效應，為用戶提供可靠的、安全的模型，幫助用戶了解人工智能輸入結果的原理和過程，才能使人類信任人工智能。如近年來已開展的基于特征的解釋、模型逼近和解釋模型等。

4.2 倫理層面

第一，規范人工智能開發過程。人工智能開發由多個環節組成，每個環節承擔相應的工作，并實際對開發的結果負有責任。對于每個環節，要制定明確的開發任務，且這些任務是可被檢查的，盡量消除開發過程的隱蔽性，防止開發者將個人偏見植入人工智能中，影響人工智能的決策進而影響到執行結果（如不可預期的結果、壞的結果等）

第二，制定道德規范。人工智能首先便是其開發者的價值體現，開發者的道德管理是首要任務。可以從以下幾個方面入手：（1）謹慎選擇開發者；（2）對開發者進行必要的道德訓練；（3）制定明確的人工智能開發道德規范。

第三，建立人工智能應用監管準則。（1）限制人工智能的使用場景；（2）監管人工智能的使用過程；（3）培訓合格的人工智能操作者；（4）明確人工智能的道德主體。

5 結論

當人類認識到人工智能的缺陷時，正是人工智能得到發展的時候，相對于對人工智能的缺陷表現出極大的恐懼，人類應該正視這些缺陷并不斷努力去改善它。當前人工智能已經具備一定的學習能力，但是遠遠不夠，人工智能像小孩子一樣獲取到了一定的知識，但對于這些知識并沒有深入的理解和轉化，也就是說，人工智能還沒有擁有完整的認知過程。在未來的時間里，人工智能需要學習大量的知識，如政治、經濟、社會等，提高同人類世界的交互能力，變得更加可靠。

“Rome won′t built in a day”，同樣，完善的人工智能不是一蹴而就的，而是動態的、長期的。在人工智能開發過程中，不斷地提高人工智能可信程度，約束開發人員和開發過程管理，制定相應的人工智能道德規范和行為準則，并且在應用過程中向人類證明，人工智能不具備或者具備較低的威脅（如不會完全取代人類或者造成較大倫理糾紛），建立起人與人工智能的信任關系。同時，人工智能的研究者需要注意到，任何信任關系都需要長時間的努力，從基礎的信任到持續的信任，最終形成穩定的信任關系，要經過數年甚至數十年的努力，才能維護持續的信任，才能推動人工智能的進一步發展。