智能視頻分析芯片異構化提高校園安防智能化水平

□ 文/蔡巍偉 戚紅命

隨著我國教育事業的穩步發展,校園安防系統應用逐漸成為不可或缺的一部分。但校園安防市場這塊沃土有待開發，相關系統技術的智能化水平需要進一步提高。智能視頻分析芯片技術異構化能顯著提升校園安防監控系統的清晰度與智能化水平，因而本文對此作一番簡介。

智能視頻分析芯片是指運行智能分析算法的處理器芯片，包括DSP， X86 CPU，GPU，FPGA，ARM等。智能視頻分析算法目前在大多數情況下，都是運行于產品主控芯片中，并與其它功能（如編解碼，操作系統等）共享芯片的計算資源；智能視頻分析算法在某些情況下，也會使用專用的智能協處理芯片，獨享協處理芯片中的運算資源。

智能視頻分析技術隨著視頻監控的數字化，網絡化，高清化及智能化的發展，應用范圍不斷擴大，逐步朝著高清化，標配化，深度智能化的方向發展。高清化的攝像機要求智能分析算法處理更高分辨率的圖像，算法的運算次數大大增加；更多的產品（如攝像機，視頻網絡傳輸設備，DVR/NVR，后端視頻管理服務器等），都集成了智能視頻分析技術，智能視頻分析的功能進一步擴展；深度學習等高密度高復雜度算法在智能視頻分析技術領域得到廣泛應用，算法對芯片處理能力的要求進一步提高。

智能視頻分析技術的高清化，標配化及深度化發展，對處理芯片提出了前所未有的挑戰。

智能視頻分析技術的發展趨勢

高清化

智能視頻分析算法的運算次數通常與其輸入圖像保持正比的關系，圖像越大需要做更多運算。由于高清相機的廣泛應用，芯片的處理能力與算法運算次數之間的矛盾進一步凸顯。為了滿足實時處理的要求，我們在許多情況下只能對圖像進行下采樣。這樣不僅會降低算法的準確率，而且使高清圖像喪失其本該有的圖像細節信息。

圖1 分辨率大小示意圖

表1 分辨率-復雜度對應表

由上面的圖表可知，運算復雜度隨著分辨率的提升而不斷提高。在4K分辨率下的運算復雜度是CIF分辨率的41倍。

標配化

智能視頻分析標配化發展，使更多的視頻監控產品集成了分析功能，智能分析應用范圍進一步拓展。攝像機等產品考慮到功耗散熱等因素，一般都會采用低主頻的處理器作為主控處理芯片；另一方面，越來越多的智能分析算法，如人體檢測，車牌識別，車輛分析，人臉檢測等，被不斷地集成到產品中。功能不斷累積造成算法復雜度直線上升，芯片處理能力與算法復雜度之間的矛盾日益加劇。下圖為監控系統中標配化智能功能示意圖：

圖2 標配化智能功能示意圖

深度化

智能視頻分析技術隨著圖像處理，模式識別及計算機視覺領域的技術的發展而不斷演變。從最初的移動偵測到背景建模方法，到基于級聯分類器的目標檢測算法，再到目前大熱的深度學習算法，其運算復雜度呈現出指數上升的趨勢。算法復雜度的不斷提高對處理芯片的運算能力帶來了前所未有的挑戰。智能視頻分析的內容不再只限于簡單的運動偵測或是目標檢測，而且需要分析并挖掘視頻中更深層次的對象和內容。包括：目標的屬性星星（人，車，動物，車輛類型，車輛顏色，車標品牌等），目標的行為特性（運動方向，幅度，異常行為，步態特征等），目標的交互情況（碰撞預警，聚集，騷亂等）。下表列舉智能視頻分析各個層次算法在相同分辨率下的復雜度對比：

表2 算法復雜度對應表

智能視頻分析芯片

目前智能視頻分析算法應用的處理器平臺較多，歸納起來分為傳統處理器芯片、高性能并行處理器芯片、異構處理器芯片這三類，接下來會對這三類處理器芯片在智能視頻分析技術上的應用做逐一介紹。

傳統的處理器芯片

傳統處理芯片包括X86、DSP、ARM等，其處理性能主要通過兩種方式來進行提升。第一種方式是通過提高處理器主頻的方式來提升芯片的處理能力。可實際上，在許多情況下，造成處理器性能瓶頸的問題不是處理主頻而是內存訪問（DDR主頻帶寬等）。另外主頻的不斷提高會帶來功耗增加或散熱等問題，因此這種方法不能很好地解決我們所面臨的問題。

第二種方法是通過優化處理器的架構以提高處理器的運算性能，如優化處理器流水線，cache結構，亂序執行，分支預測等。隨著架構優化的不斷進行，處理器的性能提升曲線也趨于平穩，性能提升幅度也越來越少。

如上所述傳統處理器芯片并不能通過主頻的提高或架構的優化獲得處理器性能的大幅度提高，處理器的發展并不能很好地滿足智能分析技術發展的要求。

高性能并行處理芯片

由于傳統的處理芯片不能很好地解決其處理能力與計算量之間的矛盾，其它的處理芯片，如GPU，固化算子協處理器，FPGA等，在智能視頻分析技術中得到了廣泛的應用。這些處理芯片利用其高效的并行處理能力，有效地提高了運算能力，較好地滿足了智能分析算法的運算復雜度要求。高性能并行計算處理器能較好承擔智能視頻分析算法中的高并行度、高計算量熱點模塊，但對于串行化較強、并行化較差的模塊，高性能并行處理器無法有效地進行處理；

固化算子協處理器

固化算子協處理器，利用集成電路將一些智能視頻分析中頻繁使用的、高計算復雜度的算子進行ASIC硬化，通過硬件電路對這些算子進行加速，具有非常優秀的功耗特性。開發過程中，這些固化的算子，一方面可以降低主控芯片的資源占用，另一方面也可以有效地提高處理能力和運算速度。在目前來看，由于它需要經過算子選取、電路設計、驗證、流片等一系列步驟，開發周期長，開發成本高。對于一些定制需求較高的算法來說，其開發的靈活性還存在很大的問題。隨著智能分析技術的不斷發展，算法的處理流程及方法必將朝著通用化及標準化的方向發展，這將更有利于芯片廠商進行固化算子協處理器的開發。

可編程電路芯片FPGA

FPGA是英文Field Programmable Gate Array(現場可編程門陣列)的縮寫，它是在PAL、GAL、PLD等可編程器件的基礎上進一步發展的產物。FPGA內部包括可配置邏輯模塊CLB(Configurable Logic Block)、輸出輸入模塊IOB(Input Output Block)和內部連線(Interconnect)三個部分。用戶可對FPGA內部的邏輯模塊和I/O模塊重新配置，以實現用戶的邏輯。它還具有靜態可重復編程和動態在系統重構的特性，使得硬件的功能可以像軟件一樣通過編程來修改。作為專用集成電路(ASIC)領域中的一種半定制電路，FPGA既解決了定制電路的不足，又克服了原有可編程器件門電路數有限的缺點。利用FPGA的硬件并行特性，通過智能分析算法的優化和移植，能夠大大提高算法的運行速度，提高運算效率。

通用并行計算GPU

GPU最初為了提芯片的三維圖形繪制能力，其架構是以提高像素點的并行繪制能力為出發點的，具有強大的并行圖形圖像處理能力。隨著通用并行計算需求的不斷增加， GPU芯片廠商在圖形處理基礎上不斷地添加通用計算功能，GPU的通用并行計算能力不斷提高。在大規模數據的并行處理計算上，通用GPU體現出了非常明顯的性能優勢。

圖3 通用處理器CPU與GPU晶體管對比

如圖3所示， 通用處理器CPU中的大部分晶體管主要用于構建控制電路（如分支預測等）和Cache，只有少部分的晶體管來完成實際的運算工作。GPU與CPU的設計目標不同，其控制電路相對簡單，而且對Cache的需求較小，所以大部分晶體管用于構建ALU并行計算單元，使最大程度地提升GPU的并行計算處理能力。對于高密度、高并行度計算，GPU較CPU可以獲得巨大的加速比。

在目前智能視頻分析算法中，對于一些高密度、高分辨率、高復雜度的算法模塊，通用處理器CPU是無法滿足效率要求的，容易形成算法的效率瓶頸。但對于GPU來說，可利用其強大的并行計算能力，將這類算法以一種并行化的方式在GPU上應用實施，就可以得到非常高的加速比，算法效率瓶頸就能得到較大突破。

異構處理器芯片

異構處理器芯片是指在同一個芯片上包含有多個不同類型的處理器的芯片系統。如圖4所示為目前比較常見的異構處理器芯片，其中包含了主控計算單元和并行高性能計算單元。主控單元一般由傳統的處理器CPU來承擔，而并行高性能計算單元則由一個或多個高性能并行處理器(集成電路算子、并行計算GPU、FPGA等)來承擔。主控單元及并行單元根據其處理能力和特性，在芯片系統中各司其職，發揮各自的優勢：

圖4 異構處理器芯片架構示例

主控計算單元負責芯片的接口控制，中斷響應，操作系統運行，并行計算單元的任務調度及同步等；高性能并行計算單元負責接收主控計算單元派發的任務，進行并行高密度運算；高性能并行計算單元可以由固化算子協處理器，GPU，FPGA等組成。

智能視頻分析算法需要根據算法的運算特性，將算法中不同的計算任務派發至通用處理CPU、集成電路算子、并行計算GPU等處理器上進行處理，并通過DDR來進行數據交互。

對于基于異構處理器芯片來說，智能視頻分析算法的各模塊可以按照自身特性在各異構處理器上進行分配，通過模塊之間的分配、組合、優化，異構處理器芯片可以提供強大的計算性能來滿足各類算法的應用。另一方面，由于在異構處理器芯片上進行智能視頻分析算法開發時，需要將算法分別拆分至不同的處理器上運行，在運行過程中需要進行不同處理其之間的同步、數據交互，其算法開發成本也會相對較高。

結束語

隨著智能視頻分析技術朝著高清化，標配化及深度化方向發展，智能視頻分析算法計算復雜度越來越高，所需要的計算量越來越大。傳統處理器CPU因為主頻和架構限制，所提供的計算性能已無法滿足要求；高性能并行計算處理器能較好承擔智能視頻分析算法中的高并行度、高計算量熱點模塊，但對于串行化較強、并行化較差的模塊，高性能并行處理器無法有效地進行處理；基于異構的處理器芯片中包含了主控計算單元和高性能并行處理單元，高性能并行處理單元能有效處理智能視頻分析算法高并行度的熱點模塊，其他非熱點模塊就可以交給主控計算單元來完成，通過這種異構計算單元之間的互補，能較好滿足目前智能視頻分析技術發展要求。