深度學習框架和加速技術探討

余偉豪+李忠+安建琴+宋奕瑤

引言

2016年3月，谷歌公司開發的人工智能圍棋程序AlphaGo和韓國九段圍棋選手李世乭進行了五場比賽，最終AlphaGo以4：1的結果大勝對手。隨后，升級版的AlphaGo，即Master又在網絡上與中日韓選手對戰，橫掃中日韓圍棋高手，無一敗績。最近全新升級的AlphaGo與世界排名第一的中國九段棋手柯潔進行對戰，結果三戰全勝！這使得人工智能在全球范圍內引起了廣泛的關注和討論，而AlphaGo采用的深度學習方法，也掀起了一股深度學習的浪潮。

1深度學習簡介

深度學習從傳統的人工神經網絡發展而來。自20世紀80年代以來，人工神經網絡得到了巨大的發展，其中以BP算法為代表的傳統人工神經網絡方法的在分類、聚類方面得到了廣泛應用。然而，BP算法本身的缺陷也是明顯的，容易過擬合以及只能訓練有標簽的數據。與傳統的人工神經網絡相比，深度學習網絡增加了網絡中的隱含層數，傳統人工神經網絡一般在5層以內，而深度學習網絡至少達到7層及以上。隨著網絡規模的增加，對神經網絡模型的訓練和優化難度也變得困難。2006年，Geoffrey Hinton等人在《Science》上發表了文章，提出的用于深度信任網絡（Deep Belief Network，DBN）的無監督學習算法，解決了深度學習模型優化困難的問題，拉開了深度學習的大幕。同時，計算機技術不斷發展，使得計算能力大大提升，也極大地促進了深度學習地發展。目前，基于深度學習的人工智能應用在各個方面，主要包括計算機視覺、自然語言處理、語音識別、信息檢索等方向。……