建設人工智能“上海高地”

7月8日至10日，2021世界人工智能大會在上海召開。在擁有比較成熟的產業技術和商業模式的基礎上，上海還應致力于人工智能的安全漏洞風險防范，全方位建設真正意義上的人工智能高地。

加緊制定通用安全標準

提案方? ? ?趙柏基? 上海市政協委員

背景情況? ? ? ? ? ? 從自動駕駛到智能安防，從語音助手到虛擬現實，人工智能技術正在迅速發展，潛力巨大。習近平總書記在十九屆中央政治局第九次集體學習時明確指出，要加強人工智能發展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。

問題及分析? ? ? 眾多科技巨頭先后在上海設立功能型總部和研發中心，一大批國內外人工智能頭部企業的落戶，匯聚了權威專家資源，為上海在人工智能安全治理方面的先行先試提供了良好的土壤。隨著人工智能落地場景的增多，使用范圍的擴大，一系列系統性風險也逐漸浮出水面。

1.合規風險。數據是人工智能的基礎，在應用人工智能時，企業需要滿足包括數據收集、隱私保護在內的各項合規要求。然而，目前針對人工智能的合規要求散見于數據安全和隱私保護等領域，不夠集中和清晰，存在很多“灰色地帶”，暗藏風險。例如，2017年，谷歌旗下的人工智能子公司DeepMind所開發的移動應用Streams，因收集患者醫療病歷被英國信息委員會裁定違反了英國數據保護法;2019年8月，瑞典北部的謝萊夫特奧市政府因允許該市某高中試用人臉識別技術進行考勤，被瑞典數據保護局以違反歐盟《通用數據保護條例》（GDPR）為由處以罰款。

2.道德、誠信風險。人工智能算法在決策時可能產生的偏見和歧視，以及引起的更復雜的誠信問題，是目前人工智能應用當中比較突出的道德和誠信風險。例如，美國某些地區的司法部門使用人臉識別系統（COMPAS）來預測罪犯再次犯罪的概率，并以此決定是否批準保釋或假釋。但從預測結果來看，被錯誤標記為“高風險”的黑人數量幾乎是白人的兩倍，而在真正實施再犯罪的人群中，被錯誤標記為“低風險”的白人數量是黑人的兩倍。

3.安全風險。人工智能應用的功能雖然強大，但安全應當始終被放在首要位置。尤其當人工智能被應用于自動駕駛、醫療、工業控制等與人身安全直接相關的領域更是如此。現階段，我國的安全標準大多在應用安全領域，還缺乏人工智能自身的基礎性安全標準。

4.“黑箱”風險。人工智能的決策過程就像“黑箱”，其決策的邏輯和依據的不可解釋性，直接影響人工智能模型的試錯成本和可信度。例如，對應用在自動駕駛汽車中的神經網絡來說，行人和路牌之間存在什么樣的差異？人工智能的哪個決策階段能夠發現兩者的區別？只有深入了解這一過程，才能有效避免錯誤。目前，多數的人工智能系統還缺乏有效的機制，讓人們完整理解其推理過程。

5.管控風險。人工智能的應用具備動態和自適應的特征，一旦在某一領域落地，發展會很迅速。如果治理和管控不力，將令政府和企業在應用人工智能時遇到各種想象不到的問題，甚至造成嚴重的社會危害。

? ? 建議? ? ? ? ? ??

1.盡快制定人工智能通用安全標準?？捎缮虾Ｊ薪洕托畔⒒瘑T會牽頭，組織調研，邀請企業、審計機構等共同參與標準的制定，形成可落地、可審計的人工智能通用安全標準，并針對各應用場景的技術特點，分別提出安全要求，形成“通用+擴展”的安全標準體系。

2.針對關鍵人工智能系統和應用開展安全評估，形成行業準入機制，保障國家安全、社會穩定與公眾利益。上海在全國率先發布了人工智能應用場景建設實施計劃。應用場景的落地是人工智能相關行業大規模商用的前奏。建議針對人工智能試點應用場景先行試用安全標準，通過獨立的、具有公信力的機構進行安全評估，充分驗證相關標準的可落地性、可審計性，積累經驗。待時機成熟，可將其作為具有一定強制力的安全標準向相關行業全面推廣，為政府部門及監管機構嚴把人工智能風險關，也為企業落地人工智能應用提供安全保障和準入依據。

3.積極參與制定國際人工智能安全與倫理道德標準，爭取話語權。目前，世界各國政府和監管機構都非常關注人工智能的安全風險。德國政府與大型專業機構合作，共同制定人工智能通用安全審計標準。英國信息專員辦公室（ICO）發布了制定人工智能審計框架的計劃，并公開征求建議，獲得多個國家監管機構和行業組織的積極響應。諸如此類的國際協作和國際智慧，對于上海探索自身的人工智能安全標準具有很高的參考價值，應積極參與，向世界展示人工智能風險防范的“上海方案”。

大力推動人工智能產業發展

提案方? ? ?王俊? 沈永銘? ?上海市政協委員

背景情況? ? ? ? ? 上海作為新時代改革開放的排頭兵、創新發展的先行者，其人工智能科技和產業位列全國第一梯隊。但不可否認，與國際頂級城市相比，上海還存在不小的差距，需要加快整合資源，聚集力量，實現重點突破。

? ?問題及分析? ? ??

1.本地領軍企業缺乏。人工智能作為高科技產業，初期主要依靠領軍企業帶動。當前在上海開疆拓土的人工智能領軍企業幾乎都是外地企業和外國企業，其研發核心、成果和生態往往不在上海，只是更多地將應用場景選在上海。

2.“硬科技”實力不足。目前，上海的人工智能企業大多集中在應用場景的挖掘和融合層面，在技術研發和突破方面還有待改進。尤其在底層芯片技術、傳感器硬件、算法等“硬科技”層面，整體實力不足。

3.產業發展生態缺失。前沿科技創新大都依靠小微企業、市場化人才不斷地創新、創業。一味要求高大上、國際化、高科技、高起點，不利于鼓勵創新。

4.針對性支持政策缺位。一是上海的人才引進政策缺乏與人工智能領域人才的對應性。二是上?，F行金融扶持政策的對象以大型成熟企業為主，對于多是小微型、初創型的人工智能企業來說缺乏力度和精準度。

5.數據隱私保護政策欠缺。人工智能領域關于數據隱私保護的政策尚不明確，用戶常因大數據的安全擔憂，在一定程度上影響了人工智能行業快速發展。

? ? 建議? ? ? ? ? ??

1.聚焦重點區域，孵化、扶持一批潛力企業，培育一批頭部企業，積極搶占產業制高點。抓緊在上海自貿試驗區臨港新片區出臺人工智能產業發展配套支持政策，全產業鏈集聚、整合資源。

2.聚焦關鍵環節，發布鼓勵清單，力爭在核心技術上有所突破，在某些環節形成領先優勢。政府部門應加強與上海人工智能發展聯盟等行業組織的溝通，適時列出鼓勵清單，明確重點關注的關鍵環節，如人工智能芯片、傳感器、核心算法等方面，集中資金、資源、政策，加快推動實現突破性發展。

3.聚焦重點場景，發揮超大城市應用需求廣泛的優勢，著力產業發展，營造良好環境。充分利用上海的資源優勢，抓住長三角一體化示范區建設的重大機遇，發揮超大城市和長三角的優勢，在更大范圍內大力推進人工智能應用，替代傳統發展模式，為產業發展提供更廣闊的平臺和更優化的營商環境。

4.聚焦重點人才，精準施策，形成有針對性的扶助人工智能科技和產業的人才支持政策。

5.聚焦產業生態，大膽“松綁”，營造環境。政府有關部門積極研究探索兼顧企業創新與隱私保護的引導性政策，使得人工智能產業能夠長期健康發展。

編輯：姚志剛 winter-yao@163.com