深度神經架構搜索綜述

孟子堯 谷 雪 梁艷春 許 東 吳春國

1(符號計算與知識工程教育部重點實驗室(吉林大學) 長春 130012)

2(符號計算與知識工程教育部重點實驗室珠海分實驗室(吉林大學珠海學院) 廣東珠海 519041)

3(密蘇里大學哥倫比亞分校電子工程與計算機科學系 美國密蘇里州哥倫比亞 MO65211)(zy-meng@outlook.com)

人工神經網絡通過模擬生物神經網絡信號處理的過程，解決了很多具有挑戰性的任務.以圖像分類為例，LeCun等人[1]于1998年設計了第1個用于手寫字符識別的卷積神經網絡LeNet5，該網絡僅有5層.直到21世紀10年代，GPU代替CPU成為了新的神經網絡加速訓練工具，這使得訓練更大規模的網絡成為了可能.Krizhevsky 等人[2]于2012年設計了有一定深度的網絡AlexNet，并取得了ILSVRC-12(ImageNet large-scale visual recognition challenge-2012)競賽的成功.相比于AlexNet，Szegedy等人[3]于2015年再次加深了網絡的深度和寬度，設計了一個超過20層的神經網絡架構GoogLeNet.He等人[5]于2016年通過引入跳躍連接的概念，設計了一個152層的殘差網絡ResNet，取得了ILSVRC-15分類任務的第1名.隨著研究的不斷深入，網絡的層數不斷加深，截至2016年，最深的神經網絡已經超越1 000層[5].為了設計性能更加優異的網絡，人工設計深層的網絡需要進行大量重復的實驗，隨著網絡層數的增加，需要人工調整的超參數就越多，這消耗了大量的人力和計算資源.因此，對于神經網絡架構自動搜索的研究顯得尤為關鍵.

神經架構搜索(neural architecture search, NAS)方法近年來在圖像分類[6-8]、目標檢測[9]等任務上取得了很好的效果.但這些方法都需要評估大量的網絡架構，需要的計算資源過于龐大.通過代理模型、權值共享等方法可以加速網絡搜索過程.Liu等人[10]于2019年提出可微分的架構搜索,借助反向傳播算法同時搜索網絡的架構和權值,這極大地提升了神經架構搜索方法的效率.目前，如何快速得到性能優異的網絡架構也是研究的熱點問題.

神經架構搜索的流程如圖1所示：在預先設定的搜索空間中得到一個中間網絡架構作為候選架構，通過性能評估策略對此候選架構進行性能度量，最后將測量的結果反饋給搜索策略，不斷重復搜索—評估的過程直到發現最優的網絡架構.

Fig. 1 The process of neural architecture search[11]

本文將按圖1的流程進行說明，對典型神經架構搜索方法的原理進行綜述，對不同方法之間的關系進行討論，并對高效的性能評估策略進行總結，最后對未來需要研究的問題進行展望.

1 搜索空間

搜索空間定義了組成網絡的基本操作，通過組合不同的操作會產生不同的網絡架構.為了使算法可以高效地找到性能優異的網絡，就必須構建一個適合的搜索空間.Liu等人[12]于2018年指出，在構造一個適合搜索空間的前提下，即使使用簡單的隨機搜索策略也可以發現具有競爭力的神經網絡架構.通常情況下，研究者為了提高搜索效率會根據自己的經驗適當地縮小搜索空間，但這不可避免地引入了人為的偏見.許多研究者通過神經架構搜索的方法發現了之前人工設計很難相信的網絡架構[13]，這證明了神經架構搜索的方法較于人工設計網絡的優越性.目前，研究者涉及的搜索空間主要包括鏈式結構、多分支結構和基于Cell的結構.

1.1 鏈式結構

早期的深度神經網絡都是較為簡單的鏈式結構，如LeNet5[1]，AlexNet[2]等，即網絡中的每一層僅與其前后相鄰的2層連接，且網絡中沒有跨層連接的情況，網絡的整個架構呈現為鏈條狀.如圖2所示的LeNet5網絡為最典型的鏈式結構.

Fig. 2 A typical example of chain structures (LeNet5)

神經網絡搜索空間的設計需要從3個角度出發：1)網絡的層數.可以根據設計者現有的資源動態調整網絡的最大層數.2)網絡中各層的操作及與其相關的超參數.對于卷積神經網絡來說，常用的操作有卷積、池化、批歸一化(batch normalization, BN)、激活函數等.具體來說，卷積操作涉及的超參數有卷積核大小、通道數、補齊方式、步長等.3)網絡中各操作的排列順序.對于神經網絡來說，結構的細微變化都會對網絡的性能產生影響.通常情況下，人工設計網絡時會將池化操作放置在卷積操作之后，亦有研究者對多種操作進行組合視為一種操作使用. 例如，Ioffe等人[14]于2015年將卷積、批歸一化、激活函數組合為一個模塊，將該模塊作為構建網絡的基本操作繼續進行網絡架構的生成.隨著研究的不斷深入，網絡的層數不斷加深,在訓練網絡過程中，鏈式結構易出現梯度消失、梯度爆炸等問題.為解決這一問題，研究者設計了正則化、BN等方法緩解了梯度所帶來的問題，但未從根本上解決這個問題.

1.2 多分支結構

為了緩解梯度消失、梯度爆炸等問題，研究者設計了多分支結構，它允許網絡中的層可以與其前面的任意層進行連接.GoogLeNet[3]是深度神經網絡中第一個引入了多分支網絡結構的概念，構建了不同的Inception模塊以擴大網絡的深度和寬度，Inception模塊中不同的分支由多種不同的操作組成，通過對輸入層不同維度的特征提取，提升了網絡的性能，圖3為一個Inception模塊的示例.ResNet[5]在2016年首次提出了跳躍連接思想，淺層網絡中的特征會通過跳躍連接直接傳遞到更深的功能層，從而克服了梯度消失對深層網絡的影響.跳躍連接的出現掀起了新一波的研究熱潮.例如，DenseNet于2017年[15]將網絡中的每一層都與其前面的層連接，形成了稠密的網絡結構.然而該網絡中的每一層都會接收其前面所有層的特征作為該層的額外輸入，也就意味著需要存儲大量的中間特征，因此，DenseNet需要花費大量的內存開銷.為了緩解內存的使用壓力，研究者設計了共享存儲空間的方法[16]，從而降低DenseNet模型的顯存.使用多分支結構設計網絡的搜索空間時，需要考慮跳躍連接的具體位置和數量.針對不同的實際問題，最佳的跳躍連接位置和數量也不盡相同，因此也為設計深度神經網絡架構的自動搜索方法提出了強烈需求.

Fig. 3 Inception module of multi-branch structure GoogleNet

1.3 基于Cell的結構

基于人工設計網絡架構會重復使用相同模塊的經驗，研究者試圖將多個操作組合成Cell，并將Cell作為組成神經網絡的基本單元，以此設計了基于Cell的網絡結構.具體來說，構建基于Cell的網絡結構分為兩步，首先需要構建最優的Cell結構，之后將得到的Cell按照預先定義的規則進行堆疊，以得到最終的網絡架構.對于單個Cell來說，它既可以是簡單的鏈式結構，又可以是復雜的多分支結構.Liu等人[12]設計了深度神經網絡的層次化表示方法，該方法首先在初始的基本操作上演化得到Cell結構，之后將Cell視為基本操作進一步搜索2級Cell，最后將得到的2級Cell按照預先定義的規則進行組合形成最終的網絡.基于Cell的方法充分考慮了網絡對全局與局部的設計，對搜索空間的搜索更細致，是目前最為流行的方法.

通常情況下，對基于Cell結構的搜索空間進行設計時需要考慮2個方面：1)演化Cell的種類.Cell結構的不同之處在于其內部節點的數量、節點間的連接以及連接上操作的類型.一般情況下，需要演化2種類型的Cell，分別是Normal Cell和Reduction Cell.其中，Normal Cell的輸入和輸出特征圖的維度一致，而Reduction Cell的輸出特征圖的寬、高是輸入特征圖的一半[10].2)構建最終的網絡架構時，不同Cell之間的排列順序.Xie等人[17]于2017年在構建最終網絡架構時，將演化得到的Cell按照定義好的方式進行組合.Rawal等人[18]在2018年將演化得到的多種Cell按照定義好的方法進行組合，并固定該組合重復的次數，以此得到循環神經網絡.Liu等人[10]在2019年提出了可微架構搜索方法DARTS，按照在網絡的13，23處放置Reduction Cell而在其余部分放置Normal Cell的方式，構建了最終的網絡架構.

圖4為DARTS中使用的2種Cell結構.與鏈式結構和多分支結構相比，基于Cell的方法更適用于遷移學習任務，即使用該方法在小規模數據集上得到的Cell遷移到同類大規模數據集時，僅需要重復疊加Cell，就可以得到適用于該大規模數據集上的深層神經網絡[9].

Fig. 4 Two types of DARTS cells

對3種網絡結構類型來說，鏈式結構最為簡單、直觀，鏈式結構的網絡可以通過增加深度來提升網絡的性能.對于多分支結構來說，分支數量的增加意味著網絡寬度的增加.多分支結構通過不斷增加網絡的寬度，探索了多維度特征，提升了網絡的性能.基于Cell的結構融合了鏈式結構和多分支結構的優勢，既可以增加網絡的深度，又可以擴大網絡的寬度.從設計搜索空間的角度來說，鏈式結構和多分支結構需要考慮網絡的整體結構，而基于Cell的結構只需要考慮Cell的內部結構.從可擴展性角度來看，鏈式結構和多分支結構受限于卷積神經網絡(convolutional neural network, CNN)，而基于Cell的結構可以輕松地擴展到循環神經網絡(recurrent neural network, RNN).

2 搜索策略

在構建好搜索空間后，需要設計一個快速、高效的搜索策略，以實現最優網絡架構的搜索.搜索策略的選擇需要根據搜索時間、計算資源等要求進行選擇.神經網絡的架構搜索可以看作是大規模的超參數優化問題，是AutoML的重要組成部分.如圖5所示，目前流行的搜索策略主要有：隨機搜索、貝葉斯優化、強化學習、神經進化和基于梯度的方法.

Fig. 5 Method of neural architecture search

2.1 貝葉斯優化

深度神經網絡中存在大量的超參數，如卷積核大小、學習率等，為了找到最優的超參數組合，最直觀的方法就是網格搜索.然而，網格搜索無法利用有效信息指導搜索過程，會進行大量的無效探索.而貝葉斯優化會充分學習上一次的評估結果，并建立概率模型，指導后續的參數選擇過程，最常用的概率模型是高斯模型.基于這一優點，研究者設計了基于貝葉斯的神經架構搜索算法[19-21].

Bergstra等人[22]于2013年設計了基于貝葉斯優化的神經網絡超參數搜索算法，在3個計算機視覺任務上取得了最優的效果.此后，Swersky等人[23]于2014年對此算法進行了改進，引入了條件參數空間的新內核，并共享了結構間的信息，簡化了建模過程，提升了模型質量.Hutter等人[24]于2011年提出的基于序列模型的優化策略(sequential model-based optimization, SMBO)，隨后Negrinho等人[25]于2017年設計了實驗對SMBO和隨機搜索進行比較，驗證了SMBO方法優于隨機搜索.基于此，Liu等人[26]于2018年設計了順序漸進式神經網絡架構搜索算法，在搜索過程中不斷增加網絡的復雜度.同樣地，Perez-Rua等人[27]于2019年基于SMBO設計了多模態融合的神經網絡架構搜索方法.此外，Jin等人[28]于2018年基于SMBO設計了一個多目標架構搜索框架PPP-Net，能夠自動生成最優網絡架構.該方法在CIFAR-10數據集上進行架構搜索時，可以同時演化分類誤差率、搜索時間、參數量、每秒計算次數等目標，并在移動設備上達到了最佳性能.Golovin等人[29]于2017年開發了基于貝葉斯優化的網絡調參系統Google Vizier，用于Google內部網絡調參.

2.2 強化學習

也有研究者將強化學習算法用于神經架構搜索.具體來說，神經網絡架構的生成過程可以看作Agent智能體選擇動作的過程，神經網絡的搜索空間對應著Agent的動作空間，最終Agent經過一系列動作選擇后會得到最終的網絡架構.針對神經網絡架構搜索任務，Agent的Reward獎勵對應為網絡架構在驗證集上的準確率.目前有大量的神經架構搜索算法是基于強化學習實現的，這些方法的不同點在于Agent選擇動作的策略及用于優化該策略的方法.

Zoph等人[6]于2017年首次將強化學習應用在神經網絡架構搜索，該方法達到了與人工設計的最佳網絡相似的性能，并使用RNN作為控制器，對設計好的搜索空間進行采樣，以此得到最終的網絡架構，并在搜索過程中使用Reinforcement方法優化RNN的參數，隨后，Zoph等人[9]于2018年提出了NASNet，該方法將Reinforcement優化方法替換為近端策略優化(proximal policy optimization, PPO)，加快了搜索速度，提高了搜索結果.同時該方法通過多次堆疊在CIFAR-10數據集上搜索到的Cell，很好地遷移到了COCO 和ImageNet兩個大數據集上.在圖像分類數據集ImageNet上達到了SENet相同的精度，且模型參數只有SENet的一半.Baker等人[7]于2017年提出了MetaQNN用于神經網絡架構的搜索，MetaQNN使用帶有ε-greedy貪婪探索策略和經驗回放的Q-learning搜索網絡的架構.同樣，Zhong等人[8]于2018年設計了基于強化學習的神經網絡架構搜索方法BlockQNN，在該方法中，網絡中的層由網絡結構代碼(network structure code, NSC)表示，NSC是一個由5維向量表示的結構.為了加快算法的搜索進程，BlockQNN使用了分布式異構框架和早停策略.在提升基于強化學習的神經網絡架構搜索算法的搜索速度上，雖然有很多策略可以使用，但由于其搜索過程中需要評估大量的中間網絡架構，會消耗大量的搜索時間和計算資源.基于此，Pham等人[30]于2018年提出了高效的NAS方法ENAS，該方法試圖將搜索過程中的各個子網絡進行權值共享，避免了從頭訓練網絡，與標準的神經架構搜索算法[6]相比，ENAS縮短了11000以上的GPU運算時間.Tan等人[31]于2019年驗證了網絡的深度、寬度和分辨率與網絡性能的關系，對模型縮放進行了進一步探討，其設計的EfficientNets有效地平衡了深度、寬度、分辨率之間的關系，在ImageNet上獲得了Top-1的精度(84.4%)，與AmoebaNet網絡相比，其參數減少了18，且運行速度提升了6.1倍.

隨著邊緣計算的普及，越來越多的任務需要在移動設備上實現.針對計算資源受限的移動設備，Tan等人[32]于2019年將手機設備上實時運行模型的延遲、精度和運行速度作為搜索目標，提出了適用于移動設備上的神經網絡架構搜索算法MnasNet.此外，MnasNet為了增加搜索的靈活性，設計了基于因式分解的層級搜索空間，可以將CNN分解為小的模塊.Yang等人[33]于2018年在資源預算受限的前提下提出了NetAdapt算法，通過逐層簡化網絡，實現了由大規模數據上的預訓練模型到移動設備的遷移任務.Howard等人[34]于2019年將MnasNet神經網絡架構搜索算法和NetAdapt進行結合，提出了MobileNetV3，在圖像分類、目標檢測、圖像分割任務上都取得了最佳的效果.Tan等人[35]于2019年在實驗中發現，在同一層中組合多種尺寸的卷積和會提高模型的精度和搜索效率，設計的MixNets神經架構搜索方法在移動設備上取得了最佳性能.基于強化學習的神經網絡架構搜索方法不僅在圖像分類任務上展現了優勢，在圖像分割、目標檢測等任務中也取得了優于人工設計網絡的性能，目前基于強化學習的神經架構搜索算法是神經架構搜索領域不可缺少的方法[36].

2.3 神經進化

神經進化的核心思想是采用進化算法來演化網絡的權值、架構、激活函數乃至超參數.隨著人工設計網絡架構的不斷發展，網絡的層數不斷加深，網絡的結構愈加復雜，網絡參數的數量不斷增加.對于神經架構搜索任務來說，需要的計算資源也在不斷增加.目前，基于神經進化的架構搜索算法將網絡結構與權值分開進行優化，具體來說，網絡的結構使用進化算法進行優化，而網絡的權值使用反向傳播進行優化.

針對基于進化算法的神經架構搜索算法，在20世紀末，研究者們的研究重點是對網絡權值進行優化，其流程為: 首先選定網絡的架構，之后借助遺傳算法對網絡中的權值進行優化.這類方法在桿平衡任務上取得了很好的效果[37-38].Kenneth等人[39]于2002年借助遺傳算法的思想，提出了增強拓撲的神經進化網絡NEAT.該方法從最基礎的單元結構開始演化，演化過程中引入歷史標記來緩解競爭約定問題[40]，此外，NEAT將整個種群劃分為不同的物種，以確保演化過程中網絡結構的多樣性.NEAT不僅實現了網絡架構的演化，同時也對網絡的權值進行優化，實驗表明，NEAT方法遠好于最初固定網絡架構僅演化權值的方法[37].Miikkulainen等人[13]于2019年對NEAT方法進行了擴展，由演化拓撲結構的演化擴展到模塊及超參數的演化，提出了CoDeepNEAT.通過共同演化網絡的結構和模塊，在目標識別、語言建模等任務的標準數據集上達到了與人工設計網絡結構性能相近的結果.Liang等人[41]于2019年將CoDeepNEAT與分布式計算框架進行了結合，提出了適用于演化AutoML框架的LEAT，在醫學影像分類、自然語言處理領域數據集上都取得了優異的性能.

Fig. 6 Evolutionary algorithm[42]

隨著人工設計網絡架構的發展，神經架構搜索算法的搜索空間也隨之變大.作為群體智能技術之一的進化算法，可以充分有效地對搜索空間進行遍歷，鑒于此，基于進化算法的神經架構搜索算法逐漸流行起來.如圖6[42]所示，基于進化算法的神經架構搜索算法，將每一個網絡架構看作種群中的個體，演化過程中對每一代產生的個體進行選擇，并對優異的個體執行交叉、變異等操作以生成下一代種群，不斷重復這個過程，直到產生性能最優的個體或達到最大演化代數.進化算法包括遺傳算法、進化策略、遺傳編程和進化規劃，這4種算法均有研究者擴展至神經架構搜索.

基于進化算法的神經架構搜索方法主要的研究有：Salimans等人[43]于2017年通過實驗驗證了強化學習可以被進化策略所替代，并在多步決策任務上取得了優異的效果.Real等人[44]于2017年提出了適用于大規模圖像分類的演化算法，可以在最小化人工參與的情況下，借助250多臺GPU服務器，從最簡單的初始結構開始，在CIFAR-10和CIFAR-100 兩個圖像分類基準數據集上達到了與人工設計網絡性能相近的效果.此后，Real等人[45]于2019年在進化算法中加入Aging對錦標賽選擇算法進行了改進，提出了適用于圖像分類任務的AmoebaNet.該算法通過盡可能多地保留年輕個體，在ImageNet數據集上首次超越了人工設計網絡的性能，此外，該算法還證明了與強化學習、隨機搜索方法相比，進化算法的搜索速度更快.Xie等人[17]于2017年設計了定長二進制字符串表示網絡架構的編碼方案，并以此提出了基于遺傳算法的卷積網絡架構搜索算法.該算法僅僅演化卷積、池化等簡單的基本操作，就能在圖像分類任務上得到了較好的效果，并且得到的架構可以很好地遷移到大規模數據集上.David等人[46]于2019年對神經架構搜索的任務進行了擴展，將人工設計的Transformer框架引入了演化初始結構，通過錦標賽選擇策略得到了自然語言處理領域性能優異的網絡架構.

多景觀帶是由肖圈干渠延伸出來的三條沿河綠化景觀帶，一條水上游樂景觀帶、一條生活休閑景觀帶、一條工業生活景觀帶。肖圈干渠是經過南皮的主要的東西向的河流，是城市水景主要干路。從肖圈干渠延伸出三條主要的支路，一是水上公園：所經途徑主要有城西的水上公園；一是生活休閑，經過的主要是居住生活區，沿河兩邊有很多的休閑綠化公園，是人流匯集的一條生活綠帶；一是工業水渠，主要流經工業園區，在承擔工業排水的同時擔任少部分的生活公園的功能。城市外圍的綠化帶起到防護和隔離噪音的功能。

隨著應用設備的擴展，神經架構搜索算法從服務器端擴展到移動設備端.移動設備端的神經架構搜索算法需要綜合考慮網絡的性能、搜索時間、復雜度、計算資源等多方面的問題，神經架構搜索由單目標搜索任務轉換為多目標搜索任務.Elsken等人[47]于2019年提出了拉馬克進化算法LEMONADE用于多目標神經架構搜索，此外，該算法設計了Network Morphisms[48]對神經網絡空間結構的算子進行操作以保證網絡結構的功能不變性.LEMONADE借助遺傳操作讓子代個體可以繼承其父代的信息，避免了子代從頭學習，極大地減少了訓練時間；為了減少網絡的規模，LEMONADE等人設計了Approximate Network Morphisms方法，在圖像分類任務上達到了與人工設計網絡相近的效果.Li等人[49]于2019年提出了偏序剪枝算法，在實現網絡精度優異的前提下，搜索效率最高.此外，小米的AutoML團隊提出了適用于移動設備的神經架構搜索算法MoreMNAS[50]，該算法將進化算法和強化學習結合，平衡了演化過程中探索和開發的過程，充分利用了新學習的知識，降低了退化現象.

2.4 基于梯度的方法

對于2.1～2.3節所述的神經架構搜索算法來說，它們的搜索空間是離散不可微的，也就意味著在搜索過程中需要評估大量的網絡架構，花費大量的時間.為了降低訓練網絡花費的時間，研究者試圖將搜索空間變成連續可微的，再使用基于梯度的方法進行優化.具體來說，基于梯度的架構搜索使用反向傳播算法同時對網絡權值和網絡結構進行優化，減少了大量訓練網絡消耗的時間，但搜索過程中會占用大量的內存.

基于梯度的神經架構搜索方法主要包含：Liu等人[10]于2019年提出了DARTS算法，首次將離散不可微的搜索空間轉換為連續可微的，借助反向傳播同時優化網絡的架構和權值.在DARTS算法中，預先設定了8種候選操作，包含卷積核為3×3和5×5的可分離卷積、3×3和5×5擴張可分離卷積、3×3的最大池化、3×3的平均池化、保持不變和無操作.該算法在搜索過程中使用Softmax對每條邊上的候選操作進行加權，最終只保留每條邊上權值最大的操作.Hundt等人[51]于2019年對DARTS算法進行了改進，提出了sharpDARTS，引入余弦冪次退火對學習率進行更新，借助MaxW正則化方法糾正DARTS算法中的偏差.Cai等人[52]于2019年為了降低基于梯度的神經架構搜索算法的內存過大的問題，提出了ProxylessNAS，該算法在訓練過程中使用路徑級二值化操作，即每次只激活邊上的1種操作.ProxylessNAS在不使用代理模型的前提下針對大規模圖像分類數據集ImageNet進行網絡架構的搜索，并將其算法從GPU擴展到了手機上.該算法在CIFAR-10數據集上，僅用了5.7M個參數就達到了2.08%的測試誤差，與AmoebaNet-B相比減少了16的參數量.在ImageNet數據集上，ProxylessNAS比Mobilenet V2高3.1%的準確率，運行速度快了20%，且手機實測速度是Mobilenet V2的1.8倍.Zheng等人[53]于2019年將搜索空間看作一個多項式分布，通過多項式的不同取值對應著不同的網絡架構，提出了MdeNAS，該算法在ImageNet數據集上搜索了4 h就達到了目前最佳分類效果.Dong等人[54]于2019年提出了可微架構采樣方法GDAS用于神經架構搜索，該方法在訓練過程中僅采樣節點間的1種操作，降低了內存消耗.此外，為了縮小搜索空間，GDAS固定了Reduction Cell，僅對Normal Cell進行搜索，在V100顯卡上搜索了4 h在CIFAR-10數據集上得到了2.5M個參數、2.82%誤差的網絡.針對基于梯度的神經架構搜索算法占用大量內存的問題，研究者們通常會在較淺的網絡中搜索最優的架構，之后不斷增加層數來驗證其性能.Chen等人[55]于2019年發現：基于梯度的神經架構搜索算法由于在搜索階段和驗證階段網絡層數的不同會出現在訓練階段性能優異的架構在驗證階段性能不好的現象，研究者將這種現象稱為深度差距.為了縮小這種差距，Chen等人提出了P-DARTS，在搜素過程中逐漸增加網絡的層數，并通過搜索空間近似減少了內存消耗，使用了搜索空間正則化來控制搜索的穩定性.此外，對于降低訓練過程中內存消耗的問題，Xu等人[56]于2019年提出了PC-DARTS可以在不降低網絡性能的前提下進行了高效搜索，該方法通過采樣部分Cell減少網絡中的冗余.

表1為基于貝葉斯優化、強化學習、神經進化、梯度的方法進行神經架構搜索的算法在CIFAR-10數據集上的性能比較.從搜索架構的性能和效率角度來看，基于梯度的神經架構搜索算法得到的網絡性能更好，且搜索速度最快.

Table 1 Performance of Different NAS Algorithms on CIFAR-10

3 性能評估策略

性能評估是神經架構搜索算法的必要環節，通過性能評估測量得到每個網絡的性能并反饋給神經架構搜索算法，以指導搜索算法得到最優的網絡架構.通常先得到一個在訓練集上擬合好的網絡，將網絡在驗證集上的誤差作為網絡性能的度量值.然而，這種方法需要使用反向傳播對網絡進行訓練，需要大量的計算資源，花費大量的時間，搜索效率較低.為了加快網絡架構的評估，本文總結了4種常見的性能評估策略，包括低保真度、早停、代理模型和權值共享等方法.

3.1 低保真度

一般情況下，神經網絡的性能是網絡在訓練集上收斂后得到的網絡精度，然而網絡訓練到收斂需要花費大量的時間，因此，為了加快架構搜索過程中網絡的收斂過程，研究者提出了采用減少樣本數量[57]、降低圖像分辨率[58]、減少網絡層數[9,45]等方法.通過近似的數據集、近似的網絡架構雖然加快了搜索過程，減少了計算成本，但是這不可避免地會引入偏差.Chrabaszcz等人于2017年通過實驗指出了低保真度方法會導致評估結果與收斂結果之間產生偏差.即便如此，研究者也可以通過控制近似網絡與實際網絡之間的差距閾值來提高訓練效率.例如減少少量的訓練樣本、縮減部分網絡.

3.2 早 停

除了使用低保真度的方法加快搜索速度，也有研究者使用早停機制，即在網絡未收斂時就停止訓練，其采用的具體方法主要有：1)固定訓練代數.在網絡的訓練過程中，如果網絡達到預先設定的這個閾值就會停止訓練，此時的精度就代表了該網絡的精度.Zheng等人[53]于2019年提出并驗證了一個性能排序假設:在訓練的某個時刻，如果網絡A在某個數據集上的性能高于網絡B,那么當網絡A、網絡B在該數據集上訓練到收斂后,網絡A的性能仍高于網絡B.該假設的成功證明極大地提高了神經架構搜索的效率.2)學習曲線外延的方法[20,59].在網絡訓練過程中，根據網絡精度曲線的趨勢和超參數，對該網絡的收斂精度進行預測，而不是直接運行到收斂.Rawal等人[18]于2018年使用前10代的網絡精度預測第40代的精度，提出的Seq2seq模型達到了與人工設計架構相近的結果.

3.3 代理模型

與低保真度和早停的方法不同，基于代理模型的方法采用簡單的近似任務替代實際的訓練任務，代理模型得到的結果即為網絡的性能.基于此，Liu等人[26]于2018年設計了代理模型來評估候選Cell的性能，該方法減少了網絡性能評估的時間.目前的研究工作中，在對ImageNet數據集進行架構搜索時，大多數方法都會將CIFAR-10數據集的架構搜索作為代理任務[10,26,45,53,55-56]，之后將得到的代理任務上最優的網絡架構遷移到ImageNet目標任務上.

3.4 權值共享

除了上述提到的網絡性能評估策略外，有研究者使用權值共享的方式進行性能評估.權值共享的方法主要有2類：Network Morphisms[48,60-61]和One-Shot[10,62].對于Network Morphisms方法來說，在保證網絡功能不變的前提下，通過不斷地擴展初始網絡，提高訓練效率，該方法不需要網絡從頭開始訓練，但使用該方法得到的網絡架構會越來越復雜.Chen等人[48]于2016年設計了Approximate Network Morphisms算法，在保證網絡性能不變的情況下對網絡的架構進行簡化.Jin等人[63]于2019年將貝葉斯優化與Network Morphisms結合提出了開源的自動學習系統Auto-keras.

與Network Morphisms方法不斷擴展網絡圖不同，One-Shot方法僅需要訓練一個超圖，通過不斷地搜索超圖中的子圖實現架構的搜索.雖然One-Shot的共享權值方法會減少搜索時間，但整個網絡的架構被限制在超圖中，對于One-Shot方法來說，超圖的選擇是得到最優網絡架構的前提.此外，搜索到的子圖共享原超圖的權值是否可以達到最佳性能也是需要進一步確認的[49].

多數酒店知識型員工的薪資水平不高，而且相互之間差距不大。酒店的高層管理人員沒有體會到知識型員工的重要性和能夠為酒店所帶來的附加值，或者對于其認識不夠。將知識型員工的收入水平與一般員工的收入水平等同起來。這樣的后果就是使得知識型員工產生消極感和對自我價值的過低評估，覺得自己的努力沒有獲得應該的回報，自身的價值在工作中得不到認可與體現。有些酒店甚至沒有為知識型員工辦理相對應的社會保障例如：社會養老保險、失業保險和社會醫療保險，偏偏知識型員工的學習能力信息接收能力強，對自身的風險規避意識較高，酒店這種對知識型員工安全心理的不作為會導致知識型員工對企業的信任感較低。

網絡性能評估策略的提出是為了加速對網絡性能進行評估，進而提高架構搜索的效率，而這一切的根源在于網絡性能的獲得需要對網絡進行訓練，如果網絡無需訓練就可以得到性能，那么神經架構搜索的效率會更高.基于上述想法，谷歌于2019年提出了權值無關的架構搜索算法[64]，該算法將整個網絡共享為一個權值，在評估網絡性能時，使用預先設定的權值進行訓練以得到網絡的性能，極大地減少了網絡訓練的時間，提高了搜索效率.

4 展 望

目前，神經架構搜索技術在圖像分類的幾個基準數據集上均取得了不錯的成績，但是缺少其他數據集和實際任務的檢驗.神經架構搜索的魯棒性也是算法性能的一個關鍵指標.同時，在搜索網絡的過程中，搜索時間、計算資源等影響算法性能的變量也需要作為評估最終性能的指標.神經架構搜索的可解釋性也是一個需要關注的重點問題，不僅搜索過程無法科學解釋，而且搜索到的網絡也無法清晰解釋.這些問題都使得神經架構搜索方法無法得到廣泛的應用.

最后，神經架構搜索的開源化和可復現性也是限制其發展的瓶頸.通過隨機幾次得到的結果并不能說明算法的有效性，算法需要隨時隨地可以復現，而且通過開源代碼可以使得更多的人加入到這個領域.總之這個領域還需要很多的努力.