基于YOLOv5的目標建筑物虛實融合技術

摘 要：針對增強現實技術目前虛實融合方面效率不高、目標識別不夠精準的問題。該文提出并實踐基于YOLOv5訓練模型的虛實融合技術，在通過YOLOv5識別清楚目標建筑物的基礎上，加入虛實融合技術，使用這種方法可以在YOLO這種優秀深度學習算法的基礎上，提升增強現實技術的精確性和可靠性。YOLO本身是目標檢測模型，在一張圖片或者是一段視頻中找到特定的物體，目標檢測不僅要求我們識別這些物體的種類，同時要標出這些物體的位置。虛實融合技術的總體思路是使用目標檢測、特征匹配等方法，配合OpenCV讀取準備好的圖層信息。總體借助YOLOv5訓練模型的實時目標檢測算法，并與虛擬三維對象相結合，實現虛實融合。

關鍵詞：YOLOv5；深度學習；虛實融合；目標檢測；OpenCV

中圖分類號：TU17 文獻標志碼：A 文章編號：2095-2945（2024）27-0185-04

Abstract： In view of the current augmented reality technology， the efficiency of virtual-reality fusion is not high and the target recognition is not accurate enough. This paper puts forward and practices the virtual-real fusion technology based on YOLOv5 training model. On the basis of clearly identifying the target building through YOLOv5， the virtual-real fusion technology is added. This method can improve the accuracy and reliability of augmented reality technology on the basis of YOLO， an excellent deep learning algorithm. Yolo itself is a object detection model， finding specific objects in a picture or a video. Object detection requires us not only to identify the types of these objects， but also to mark the location of these objects. The general idea of virtual-real fusion technology is to use object detection， feature matching and other methods to cooperate with OpenCV to read the prepared layer information. In general， with the help of the real-time object detection algorithm of YOLOv5 training model， and combined with virtual 3D objects， the fusion of virtual and real is realized.

Keywords： YOLOv5; deep learning; virtual-real fusion; object detection; OpenCV

增強現實技術（AR）是一種集成了現實世界和虛擬世界的顯示技術，被廣泛應用于多種技術手段。對于AR技術來說，目標跟蹤和識別方法至關重要，包括校準技術、跟蹤技術和交互技術3個部分[1]。近年來，深度學習技術在目標檢測算法中表現得非常好。自2012年AlexNet網絡引入以來，研究卷積神經網絡（CNN）的學者們已經激起了新一輪的高潮[2]。超催化有限責任公司提出的基于PyTorch、開源框架YOLOv5算法，該算法是對YOLOv3算法的改進，是當今更先進的目標檢測技術，其推理速度驚人[3]。基于YOLOv5的訓練模型去實時識別實際景物，并且在跟蹤及標準完成后，進行虛實融合，這樣的嘗試保證了在較高精度的前提下完成增強現實，這對AR眼鏡未來發展有非常大的實際意義。……