機器人“失控”怎么辦

閆夏卿

人工智能（AI）領域近期的兩個信息頗為引人關注：一是臉書關閉其對話機器人項目，坊間傳聞是因為AI的語言邏輯失控；另外一個是國內的兩款聊天機器人在回答一些涉及政治的問題時給出了“不正確”的答案。

由于業務范圍不同，筆者對于基于深度學習的語義AI的基本原理細節了解不多。不過，所有基于深度學習的人工智能，實際上都可抽象為目標分割及基于海量數據的訓練，區別在于不同領域目標分割的策略和算法不同，海量數據的訓練和比對的邏輯也不同。筆者熟悉的安防領域的車牌識別，就是先切分成單個字符，然后通過數據訓練識別出是什么字符；而人臉識別則先是在一幅圖片中識別，分割出人臉的部分，再利用數據訓練比對出目標是誰。

雖然算法邏輯各不相同，但總體來看，基于深度學習的算法有一個共通點，即程序的設計者也無法確知這種經由海量數據反復訓練和迭代帶來的結果是什么。因此在某種意義上，帶有這種特征的AI的“行為”變得不可準確預測，這在一些人機交互相關的AI領域引發恐慌。不少人認為，這標志著這些AI開始具備某種程度上的“自主意識”，從而開始威脅人類的地位。

實際上，從基本原理的角度講，這距離自主意識還相去甚遠。AI的原生邏輯與規則能力還非常原始，更多的是通過數據量的優勢，依靠強大的計算來增強結果獲取的能力。舉個形象的例子，比如很流行的用計算機寫詩或者寫歌的程序，其實是在大量人類已有詩句的基礎上，基于某種策略衡量標準的組合，而不是像王維杜牧寫詩時，用文字去映射所要表達的感情。從這個意義上講，最優秀的語義AI，也依然是人類已有信息和邏輯的衍生物，而不是突破者。

但有一點值得去推演。機器擁有同時掌控大量數據和信息的能力，而人類在這方面遜色太多了。這種差異與某種程度上的“可能突變”有多少內在的因果關系，或許人類自己也回答不了。于是才會有霍金和馬斯克的憂慮，才會有大家對上述事件的猜想與解讀。

盲目的擔憂無濟于事，神秘主義的放任也是不對的。從整體上說，AI領域需要有架構設計來規避未知的風險。通過某種方式隔離運算與策略部分和動作執行部分，確保做推斷和決策的AI部分不能直接進行動作操作，這在一定程度上可以降低風險。比如對于對話機器人的某些答案要設置過濾策略，以降低其太過離譜的可能?？苹秒娪爸心欠N人形、活蹦亂跳的AI其實并非主體形式，目前大部分的AI其實是一堆數據線連起來的機器陣列而已。所以人類才會保留最終的“拔電權”。這當然太過簡單粗暴。人類社會需要的是一個能夠跟得上AI發展與迭代速度的學科分支，專門研究約束AI風險的架構和技術?！?/p>

（作者是浙江宇視科技副總裁）