人工智能的十大熱門技術趨勢

隨著Google、Microsoft和Facebook等巨頭的大力投入，深度學習正在超越機器學習，人工智能來勢兇猛。那么，如今人工智能最熱門的技術趨勢是什么？

1.神經網絡的架構正變得越來越復雜。感知和翻譯等大多數神經網絡的架構正變得越來越復雜，遠非此前簡單的前饋神經網絡或卷積神經網絡（CNN）所能比。特別需要注意的是，神經網絡正與不同的技術（如LSTMs、自定義目標函數等）相混合。

神經網絡是多數深度學習項目的根基。深度學習基于人腦結構，一層層互相連接的人工模擬神經元模仿大腦的行為，處理視覺和語言等復雜問題。這些人工神經網絡可以收集信息，也可以對其做出反應。它們能對事物的外形和聲音做出解釋，還可以自行學習與工作。

2.長短期記憶網絡（LSTMs）。當你閱讀本文時，你是在理解前面詞語的基礎上來理解每個詞語的。你的思想具有連續性，你不會丟棄已知信息而從頭開始思考。傳統神經網絡的一大缺陷便無法做到這一點，而遞歸神經網絡能夠解決這一問題。

RNN（循環神經網絡）擁有循環結構，可以持續保存信息。過去幾年里，RNN在語音識別和翻譯等許多問題上取得了難以置信的成功，而成功的關鍵在于一種特殊的RNN——長短期記憶網絡。

3.“注意力模型”。“注意力”是指神經網絡在執行任務時知道把焦點放在何處。我們可以讓神經網絡在每一步都從更大的信息集中挑選信息作為輸入。例如，當神經網絡為一張圖片生成標題時，它可以挑選圖像的關鍵部分作為輸入。

4.神經圖靈機依然有趣，但還無法勝任實際工作。當你翻譯一句話時，并不會逐詞進行，而會從句子的整體結構出發。機器難以做到這一點，這一挑戰就被稱為“強耦合輸出整體估計”。

神經圖靈機就是研究者們在硅片中重現人類大腦短期記憶的嘗試。它的背后是一種特殊類型的神經網絡，它們可以適應與外部存儲器共同工作，這使得神經網絡可以存儲記憶，還能在此后檢索記憶并執行一些有邏輯性的任務。

5.深度學習讓計算機視覺和自然語言處理不再是孤島。卷積神經網絡最早出現在計算機視覺中，但現在許多自然語言處理（NLP）系統也會使用。LSTMs與遞歸神經網絡深度學習最早出現在NLP中，但現在也被納入計算機視覺神經網絡。

此外，計算機視覺與NLP的交匯仍然擁有無限前景。

6.符號微分式越來越重要。隨著神經網絡架構及其目標函數變得日益復雜，手動推導出“反向傳播”的梯度也變得更加困難而且容易出錯。谷歌的TensorFlow等最新的工具包已經可以超負荷試驗符號微分式，能夠自動計算出正確的微分，以確保訓練時誤差梯度可被反向傳播。

7.神經網絡模型壓縮的驚人成果。多個團隊以不同方法大幅壓縮了訓練一個良好模型所需的素材體量，這些方法包括二值化、固定浮點數、迭代修剪和精細調優步驟等。

這些技術潛在的應用前景廣闊，可能將會適應在移動設備上進行復雜模型的訓練。例如，不需要延遲就可以得到語音識別結果。此外，如果運算所需要的空間和時間極大降低，我們就可以極高幀率（如30 FPS）查詢一個模型，這樣，在移動設備上也可以運用復雜神經網絡模型，近乎實時地完成計算機視覺任務。

8.深度學習和強化學習繼續交匯。在“端對端”機器人等領域出現了令人激動的進展，現在機器人已經可以一起運用深度和強化學習，從而將原始感官數據直接轉化為實際動作驅動。我們正在超越“分類”等簡單工作，嘗試將“計劃”與“行動”納入方程。

9.批標準化。批標準化現在已經被視作評價一個神經網絡工具包的部分標準。

10.神經網絡研究與優化齊頭并進。創造新的神經網絡方法需要研究者，還需要能將它們迅速付諸實踐的方法。谷歌的TensorFlow是少數能夠做到這些的庫：使用Python 或 C++等主流編程語言，研究者可以迅速創作新的網絡拓撲圖，接著在單一或多個設備上進行測試。