基于深度學習的“云、邊、端”部署實踐教學研究

摘要：本文設計了一款基于深度學習的目標檢測實踐平臺，平臺采用YOLOv8網絡模型作為目標檢測算法，通過對圖像數據集的訓練優化網絡，達到目標檢測結果。該平臺達到了“軟件+硬件+網絡”同步實踐的教學效果，能夠讓學生將理論付諸實踐，在一定程度上培養了學生的動手操作和應用創新能力，并且能夠助力教師科研水平的提高，達到教學和科研“雙贏”。

關鍵詞：目標檢測；YOLOv8；Jetson Nano；實踐教學

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2024）22-0000-05

引言

“新工科”是應對變化、引領未來的建設理念，也就是對新技術、新產業與新變化推進可持續競爭力的新型工科人才培養改革。電子信息類專業是支撐“中國制造2025”“互聯網+”時代需求的專業之一，其培養的人才不僅要掌握和運用現有的知識，更要能夠掌握和運用現有知識來不斷更新自我以適應新的變化和需求。[1]在“新工科”建設理念指導下，更多的應用型課程應運而生，筆者所在學校通信工程專業開設的應用型課程“模式識別與機器學習”是一門“理論+應用”的實踐課程，該課程內容包括人工智能技術方面的理論，以及更重要的該技術的應用實踐環節。

在模式識別與機器學習中有一個重要的應用領域——“目標檢測識別”，其原理是利用計算機視覺對環境進行感知，提取目標并進行分割，相比于人眼，它能夠快速地在視覺信息里提取到需要的圖像和視頻信息。[2]目標檢測也是人工智能技術的重要應用之一，其主要任務就是找出圖像中感興趣的物體，確定目標的類別和位置。目標檢測技術廣泛應用于智能視頻監控、工業檢測、航空航天、智能交通等諸多領域。[3]

基于深度學習的目標檢測算法有著較強的提取特征能力，為了提高學生在模式識別領域的創新和實踐能力，筆者結合學生專業背景和未來就業前景，設計了一款基于深度學習的目標檢測實踐平臺。該平臺采用主流的目標檢測YOLOv8算法，在目標檢測和識別領域進行實時檢測，在服務器端進行網絡優化，得到理想的檢測結果；在硬件部署方面利用NVIDIA的Jetson Nano開發板作為載體，其具有嵌入式端的GPU模塊，能夠更好地完成深度學習模型推理；網絡模型通過Web技術移植到網絡云端，網絡端可以方便讀取和觀察檢測過程的結果。“云、邊、端”三平臺都可以實現數據圖像的追蹤、定位、分割、識別、缺陷檢測等。該平臺滿足“新工科”建設中對人才培養提出的新要求，有助于加強學生對理論知識的鞏固，并在科教融合背景下促進學生工程能力的提升。[4-6]

基于深度學習的目標檢測實踐平臺的設計

1.目標檢測實踐設計流程

目標實時檢測主要包括圖像數據集處理、檢測模型處理、實時嵌入式設備檢測和網絡云端上線操作。目標檢測平臺設計流程如圖1所示。

數據集的處理包括圖像數據的收集。大部分常用圖像數據信息可以從官方網站獲取，有些圖像數據則需要自主按照要求去實地現場拍攝、加工和篩選等。[7]經過簡單收集后的圖像數據按照要求進行標注，標注后的數據集按照一定的比例分為訓練集和測試集。

檢測模型采用目標檢測較優的YOLOv8網絡模型，首先，針對不同的項目特點優化網絡模型，修改模型超參數達到目標檢測優化。其次，在網絡模型訓練成功后，將其部署到Jetson Nano核心板上，通過核心板的外接設備對圖像目標進行實時檢測。[8]最后，將模型移植到網絡云端，進行可視化、互動操作等。

該實踐平臺實現了“軟件、硬件、網絡”三平臺一體化結合，學生通過收集圖像和數據標簽，先期通過軟件進行模型訓練，中期利用硬件部署達到實時監測，后期移植網絡端可視化操作，最后達到理論與實踐的完美結合，這在一定程度上提高了學生的動手操作和創新應用的能力。

2.目標檢測的實踐教學平臺設計

圖像目標檢測實踐平臺設計的核心是通過學生“學中做”“做中研”“研中學”的循k7vpsdiGP32SGlnVaj03Cw==環學習方式，讓學生運用新知識提升工程設計能力和創新能力。該實踐通過項目式教學充分調動學生的積極性和主動性，培養學生的設計思維和工程思維。[9]圖像檢測實踐平臺設計的項目如上頁表所示，其中的項目類型包括基礎項目、拓展項目和創新項目。

基礎項目訓練使學生初步運用YOLOv8神經網絡模型對目標進行檢測識別，首先構建數據集，并將數據集分為訓練集和測試集，其次構建神經網絡模型對模型進行訓練，最后加載訓練好的模型，對測試集進行預測，達到識別效果。

拓展項目要求學生通過優化現有的網絡模型，對較難的目標進行檢測識別。

創新項目要求學生可以選擇教師發布的項目，也可以自行設計檢測目標，自行完成目標檢測。

同時，設計的項目內容要充分滿足“高階性、創新型和挑戰度”原則[10]，通過“層層遞進”式的項目化設計，覆蓋全員進行模式識別的實踐。

目標檢測方法設計和部署

1.圖像數據集的選擇

本實踐平臺針對的主要是圖像數據的目標檢測和識別，對于常用的圖像目標檢測識別，其圖像數據集資源較豐富，并且包括訓練圖像和和測試圖像，如動物種類Dogs vs Cats數據集、面部表情KDEF數據集、垃圾分類數據集等。在下載數據集后，進行標注預處理，以便能夠達到訓練和測試圖像分類、目標檢測、圖像分割等的目的。

但對于特定場景下的圖像目標檢測識別，其圖像數據集網絡資源則不一定豐富。在這種情況下，就需要學生通過視頻監控或者實地拍攝收集圖像資源，進行訓練圖像和測試圖像的劃分。因此，從利用現有的數據集進行訓練檢測到自建數據集進行訓練檢測，這樣的實踐過程能夠使學生從上到下完整地完成一個設計項目，進而達到較好的訓練目的。

2.YOLOv8模型構建

YOLO現在已經成為機器人、無人駕駛和視頻監控應用中的核心實時物體檢測算法。目前，YOLO版本已經發展到YOLOv8網絡模型，該模型是一個面向實時工業應用而開源的目標檢測算法。因此，筆者在實踐教學平臺中使用了最新的YOLOv8模型。該算法針對不同的設備需求和不同的應用場景提供了大小和參數不同的網絡。YOLOv8模型的網絡結構如圖2所示。

YOLOv8網絡模型分為輸入端（Input）、主干道（Backbone）、連接（Neck）和輸出（Detect）4個部分。Backbone和Neck中主要采用C2f結構，該結構是對殘差特征進行學習的主要模塊，C2f結構相較于YOLOv5的C3模塊加入了更多的分支，豐富了梯度回傳時的直流。其他主要組成模塊還包含卷積層（Conv）和SPPF結構。[11-12]

然后，通過服務器上的網絡模型進行目標檢測，流程如下：將測試圖像傳入YOLOv8網絡進行網絡訓練，通過訓練得到較優的網絡模型，然后輸入數據進行YOLO檢測得到檢測結果（如上頁圖3）。

3.模型硬件部署

在服務器端按照以上步驟學習完成后，需要在Jetson Nano嵌入式設備上完成目標檢測算法的板級驗證。Jetson Nano是NVIDIA的嵌入式平臺，為了可以在Jetson Nano硬件上運行模型，首先要對開發環境進行搭建。[13-14]Jetson Nano的系統安裝以SD卡作為媒介進行，采用Jetson Nano進行模型遷移部署，對TensorFlow GPU、優化引擎TensorRT等進行安裝，具體步驟如圖4所示。

在深度學習服務器上，將訓練好的YOLOv8模型.pt文件序列化成.wts文件傳入Jeston Nano開發板，在Jeston Nano開發板上優化并編譯相應的YOLOv8模型文件，將.wts文件轉換為.engine文件，完成后進行模型轉換，采用TensorRT Python程序接口實現API調用。

實踐項目案例應用

本文的實踐項目，筆者選取了非機動車佩戴頭盔目標檢測識別。由于非機動車事故產生的人身傷害最嚴重的是頭部受傷，因此，交管部門大力倡導非機動車駕駛員佩戴頭盔，但是通過人工監管的方法覆蓋范圍有限，工作實施難度大，所以本項目設計的初衷也是要求學生在學習實踐專業知識的同時，遵守交通規則，懂得規矩意識，實現“育才”和“育德”相向而行。

1.服務器端實踐項目應用

由于非機動車佩戴頭盔的圖片網絡資源并不豐富，因此本設計項目要求學生先自建數據集，該數據集由學生分組收集拍照。

首先，教師將40人的班級分為10組，要求每組拍照100張，圖片要求涵蓋不同的地點、不同的背景、不同的車型（包括自行車、電動自行車和電動摩托車）。

其次，學生將拍照后的圖片進行數據集的標注處理，利用Labelimag工具對獲取的圖像進行標注，將拍攝到的圖像分為四類，分別是Hel_mo，Hel_no，Hel_mo1，Hel_no1。其中，Hel_mo，Hel_no分別表示電動自行車騎行者佩戴和未佩戴頭盔；Hel_mo1，Hel_no1分別表示非電動自行車騎行者佩戴和未佩戴頭盔。

再次，采用YOLOv8網絡模型對以上圖像數據進行訓練和檢測。利用第一層網絡識別第一目標是否駕駛的是電動自行車，再利用第二層網絡識別判斷目標是否佩戴頭盔。其中一組學生獲得的檢測識別結果正確率都在95%以上，效果較好。

最后，教師利用圖像集中有大量的多目標圖像將難度適當升高，學生經過網絡模型訓練后得到的識別率為90%左右。

2.Jetson Nano端實踐項目應用

為了實時監控項目監測結果，教師可以指導學生采用Jetson Nano進行模型遷移部署。學生按流程完成服務器端訓練好的模型，將模型遷移部署到Jeston Nano端，在Jetson Nano開發板上優化并編譯相應的YOLOv8模型文件，完成后進行模型轉換，轉換格式后實現API調用。TensorRT進一步加快了推理過程，運行結果顯示在Jetson Nano端運行速度有明顯提高，一張照片的檢測識別速度由幾百毫秒提升到幾十毫秒，識別速度和效果較好。

3.網頁云端實踐項目應用

為提升目標檢測系統的效率，云端覆蓋了圖像數據的標定、數據集管理、模型訓練和部署等。[15]教師進一步將上述訓練好的網絡模型移植網絡端，Web網絡端可以進行實時交互式、可視化操作。該頁面包含模型配置，配置下有任務類型選擇、模型類型選擇和置信度選擇。主界面包含原圖像和檢測識別后的圖像，在輸出圖像下方詳細介紹該檢測結果的張量信息。在網頁端進行參數選擇執行化高，結果可以實時顯示，對比性強，同時也大大降低了去程序中修改參數的工作量，免去了大量的重復工作。

結語

基于深度學習的圖像檢測實踐平臺是“模式識別和機器學習”課程的實踐環節，該實踐平臺的使用能讓學生更好地理解模式識別和機器學習在實際生活中的實際應用價值。該平臺以網絡模型YOLOv8算法為核心，在“云、邊、端”進行實踐操作，采用“軟件+硬件+網絡云”結合的形式進行模型設計和部署，每個環節都培養了學生的動手操作和應用創新能力。該實踐平臺的建設有助于學生在計算機視覺、深度學習、模式識別領域的深入研究和學習，拓展了學生的知識領域。

參考文獻：

[1]王鳳仙，閆曉波.應用型本科多學科互融型創新創業教育模式探究[J].農機使用與維修，2023（10）：126-129.

[2]李穎，王奇強.分布式人工智能技術在視覺信息處理中的應用[J].數字通信世界，2019（10）：182.

[3]蔡嘉磊，茅智慧，李君，等.基于深度學習的目標檢測算法與應用綜述[J].網絡安全技術與應用，2023（11）：41-45.

[4]孫康寧，于化東，梁延德.基于新工科的知識、能力、實踐、創新一體化培養教學模式探討[J].中國大學教學，2019（03）：93-96．

[5]任玉琢，徐利梅，謝曉梅.面向新工科的本科專業培養方案及創新課程設計與實踐[J].高等工程教育研究，2019（03）：29-32．

[6]周珂，趙志毅，李虹.“學科交叉、產教融合”工程能力培養模式探索[J].高等工程教育研究，2019（03）：33-39.

[7]左超，陳錢.計算光學成像：何來，何處，何去，何從？[J]紅外與激光工程，2022，（51）：158.

[8]王俊，陳俊杰，劉勝.基于Jetson Nano的遺留物檢測人工智能嵌入式教學實踐系統[J].實驗室研究與探索，2022，41（11）：204-207.

[9]蔣翠玲，萬永菁，朱煜.基于華為“智能基座”計劃的項目式教學實踐——以機器視覺算法實訓課程為例[J].化工高等教育，2022，39（04）：24-30.

[10]肖成勇，李擎，張德政，等.基于深度學習的計算機視覺創新實驗平臺設計與實現[J].實驗室研究與探索，2022，41（04）：94-98.

[11]杜寶俠，唐友，辛鵬，等.基于改進YOLOv8的蘋果檢測方法[J].無線互聯科技，2023，20（13）：119-122.

[12]袁紅春，陶磊.基于改進的Yolov8商業漁船電子監控數據中魚類的檢測與識別[J].大連海洋大學學報，2023，38（03）：533-542.

[13]鄭朝冰.基于深度學習的復雜交通場景下車牌識別算法研究與實現[D].深圳：深圳大學.2021.

[14]丁奇安，劉龍申，陳佳，等.基于Jetson Nano+YOLOv5的哺乳期仔豬目標檢測[J].農業機械學報，2022，53（03）：277-280.

[15]孫賀，冷于浩，劉默嘉.基于機器視覺的表面質量檢測系統研究與應用[J].無線互聯科技，2022，19（18）：106-109.

第一作者簡介：李哲（1988—），女，漢族，河北邢臺人，講師，碩士，研究方向為模式識別。

基金項目：河北省社會科學發展研究課題（編號：202403214）；教育部高等學校自動化類專業教學指導委員會教改研究面上項目（編號：2024065）；河北省高等學校科學技術研究項目（編號：ZC2024032）。