基于增強現實的鋼鐵生產線可視化仿真系統

毛立平，孫劉杰，王文舉，王 森，黃 琦

(上海理工大學，上海 200093)

0 引 言

鋼鐵工業作為國民經濟的基礎原材料產業，在經濟發展中具有重要地位。中國是鋼鐵生產和消費大國，粗鋼產量連續13年居世界第一[1]。鋼鐵工業是國家經濟水平和綜合國力的重要標志。中國鋼鐵工業高速發展同時也留下了很多潛在的問題，如組織結構不合理、技術水平落后、污染嚴重等[2]。因此，中國鋼鐵工業的持續健康發展非常重要。

隨著信息技術的高速發展，鋼鐵工業信息化逐步加深。對于設備而言，每一條生產線的管理是割裂開來的，經驗占主導地位，不是系統性的集中管控。如何實現設備的集中管控，是一個亟待解決的問題。如果一個設備的問題能很直觀地反映出來，那么就可以很快分辨出問題產生的原因，以及此問題產生后帶來的后果，而不需要花費大量時間梳理流程，那么解決問題的效率會大大提高。那要如何實現這一點呢?人對信息的理解，最容易接受的就是圖像，將設備的問題通過可視化技術展現在人眼前就可以在一定程度上解決這一問題。增強現實(augmented reality，AR)技術，可以通過真實環境信息識別和計算機實時三維渲染，把虛擬信息和真實信息融合在一起[3]，這樣能夠大幅度拓展虛擬信息的展示空間和擴展交互帶寬，顯著提升可視化的效果。隨著網絡傳輸速度和圖像識別技術的不斷提高，AR技術在微創手術、軍事沙盤演練、汽車導航、工程施工、航天飛行訓練等多個領域的應用逐漸廣泛[4～8]。基于此，筆者將增強現實技術應用在鋼鐵生產線設備監控上，提出了基于增強現實技術的鋼鐵生產線可視化仿真系統。

1 系統需求分析

1.1 功能需求分析

工業互聯網是基于現代傳感技術、網絡技術、自動化技術、擬人工智能化技術等先進技術的新一代信息技術，它貫穿于設計、生產、管理、服務等各個環節[9]?；谠鰪姮F實技術來設計一套鋼鐵生產線可視化仿真系統，系統要實現設備監控功能，可以通過移動端設備生成相關生產線的設備模型、并且模型上方有相關設備及板坯軋制信息跳動，加工過程中板坯的運動位置和形狀變化也會展現在3D場景中，使用戶可以很快發現設備出現的問題，并及時進行維修，減少損失，提高生產線的維修效率。

1.2 性能需求分析

(1)數據顯示可滿足裸眼觀察需求；

(2)生產線設備模型的內部三維結構可直觀顯示；

(3)為保障動畫的流暢性，展示畫面的幀率≥24幀/秒；

(4)系統健壯性較強，能處理運行過程中出現的異常，如人為操作錯誤，系統應該能正確的處理，恰當的回避。

2 AR可視化仿真系統開發流程及關鍵技術

2.1 開發流程

AR可視化仿真系統以寶鋼1580熱軋生產線為模型進行開發，圖1是系統的開發流程。首先進行1580熱軋生產線設備信息的收集與整理，在現場對重要場景進行拍照留存，重要設備運轉聲音進行收錄。接著將照片導入Photoshop進行處理,獲取其材質,留作貼圖。再用3ds Max等三維軟件構建生產線中各設備的模型,保存為合適的格式后導入Unity3D游戲引擎。接著進行Unity3D的二次開發，其中包括紋理貼圖、音效添加、板坯動畫制作、設備數據展示畫面設計，完成Unity3D的二次開發后需通過蘋果公司增強現實插件ARkit工具實現空間交互，在現實環境相應位置生成模型，從而實現熱軋生產線AR可視化。最后為提升系統的性能，從三維模型和燈光兩個方面對系統進行優化。

圖1 AR可視化仿真系統開發流程

2.2 關鍵技術

2.2.1 增強現實技術

增強現實技術是虛擬現實技術的延伸[10]。虛擬現實(virtual reality，VR)，又被譯為“靈境”、“臨境”等，是由美國VPL Research Inc公司的J.Lanier在1989年創造的一個詞[11]。虛擬現實技術綜合了計算機圖形技術、計算機仿真技術、傳感器技術、顯示技術等多種科學技術，它在多維信息空間上創造一個虛擬信息環境，能使用戶有身臨其境的沉浸感，具有與環境完善的交互作用能力。同時，虛擬現實具有一些人類所擁有的感知功能，比如聽覺、觸覺、視覺、味覺、嗅覺等感知系統。而增強現實是把真實世界信息和虛擬世界信息內容疊加綜合在一起，呈現在人的面前，并且能夠被人類感官所感知和交互，從而實現超越現實的感官體驗。真實環境和虛擬物體之間重疊之后，能夠在同一個畫面以及空間中同時存在。相較VR，AR最大的特點是不光可以看見虛擬圖像，更可以看到真實環境。

2.2.2 場景建模技術

場景建模有兩種方式，一種是利用Unity3D本身的建模功能，另一種是從外部導入模型。外部導入使用3ds Max、UG、SolidWorks等常用的建模軟件建立三維模型,然后保存為特定文件格式，最后將模型文件導入到Unity3D中進行二次開發。

2.2.3 目標檢測技術

目標檢測是將圖像或視頻中的目標物體與其他無關信息進行區分，判斷是否存在目標物體，若存在則返回目標的空間位置和范圍[12]。增強現實技術需要將虛擬信息附加在現實場景上，對它們進行信息增強，因此第一步需要使用目標檢測技術來識別出場景中的目標物體。增強現實中這一步的實現通常是通過對物體進行預標記，提取物體的視覺特征信息并記錄，再對現實中的特征點進行匹配，尋找相關的預標記物體，保證增強現實信息可以附加在現實物體上。

3 AR可視化仿真系統設計與實現

3.1 虛擬場景構建

3.1.1 獲取信息

前往工廠參觀實際熱軋生產線，確定連鑄坯從加熱到卷取過程中的主要設備及配件，獲取設備的尺寸數據，必要的細節拍照存檔。主要熱軋設備有步進式加熱爐、側壓定寬機、可逆式粗軋機、保溫罩、異周速飛剪機、非可逆式精軋機、層流冷卻裝置、地下卷取機，具體數量如表1所示。使用聲音收錄裝置對生產線現場重要聲音進行收錄，如板坯摩擦輥子、高壓水噴射、板坯切除音效以及步進式加熱爐、可逆式粗軋機、非可逆式精軋機和層流冷卻裝置等設備運轉音效。

表1 主要熱軋設備

3.1.2 三維建模

建模的優劣直接影響到整個虛擬場景的真實感，使用合適的建模方法能提高模型的質量和工作的效率。三維建模方法包括幾何建模、運動模擬、物理建模、對象行為建模、模型分割等[13-15]，該系統主要使用幾何建模和物理建模兩種方法。目前使用最廣泛的建模軟件是3ds Max[16]，其運行平穩，操作方便，制作精度高的特點能保證模型的真實性。按照熱軋設備的尺寸，在3ds Max繪制線條，矩形，弧形形狀的樣條線，再把閉合樣條線轉換成多邊形，利用擠出命令建立起熱軋生產線的大概模型，然后再對一些細節進行微調。圖2是熱軋設備可逆式粗軋機模型效果圖。Unity3D作為專業的游戲引擎，支持.fbx格式的模型文件，通過3ds Max制作的模型文件保存為該格式可以輕松導入，并注意在模型導入前設置好材質和1UV2UV。

圖2 可逆式粗軋機模型效果圖

3.2 Unity3D的二次開發

Unity3D也稱Unity，是由Unity Technologies公司開發的一個讓開發者輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等互動類型內容的多平臺的綜合型游戲引擎。Unity3D支持的平臺包括Windows、Linux、MacOS、iOS、Android、Xbox360、PS3以及Web等，其跨平臺開發的特點可以為開發者節省大量時間[17]。Unity3D內置NVIDIA的PhysX物理引擎，可以用高效、逼真、生動的方式復原和模擬真實世界中的物理效果，使用Unity3D對鋼鐵生產線加工過程進行模擬，復原效果較佳、開發速度較快。使用Unity3D將導入的鋼鐵生產線三維模型進行二次開發的內容主要包括紋理貼圖、音樂效果添加、板坯動畫制作、數據展示畫面設計。

3.2.1 紋理貼圖

模型的紋理貼圖在模型的真實度、系統內存占用量等方面有一定的影響[18]。Unity3D支持PSD、TIFF、JPEG、TAG、PNG、GIF、BMP、IFF、PICT格式的圖片，此次對熱軋設備三維模型進行貼圖使用的是PNG格式的圖片，因為它的容量更小且有不錯的品質。在設置完設備三維模型的空間坐標后，將紋理圖片通過Unity3D的Mesh Renderer組件貼附在模型上，注意作為模型材質的圖片，其大小必須是2的N次方，如16×16、32×32、128×128等。

3.2.2 音樂效果

Unity3D支持多種音頻格式，將生產線現場收錄的高壓水噴射、板坯切除等短音效果以.aiff或者.wav格式導入。步進式加熱爐、可逆式粗軋機、非可逆式精軋機和層流冷卻裝置等設備運轉音效較長，其.mp3音頻文件可轉換成.ogg格式導入，從而增強展示效果。

3.2.3 板坯動畫

寶鋼1580熱軋生產線是將運送過來的板坯最終軋制成1.2 mm～12.5 mm厚的超薄規格板坯，通過觀察板坯位置及其形狀的變化，來判斷生產線設備當前運行狀態，從而達到及時發現故障的目標。在Unity3D中可以通過設置Animation關鍵幀或者編寫C#腳本來實現板坯位置及其形狀的變化，此次使用的是設置Animation關鍵幀的方法，因為其完成效果更加平滑。首先選中板坯模型，創建Animation文件后為其添加position和scale屬性，接著添加關鍵幀，最后進行錄制即可完成。

3.2.4 數據展示

AR可視化仿真系統可以將接收到的現場軋制信息直觀顯示在設備三維模型的正上方，使用戶可以實時監控設備的運行，快速發現設備出現的問題，并進行維修。在Unity3D軟件中于熱軋設備模型上方新建canavs畫布，調整畫布大小，透明度，在C#腳本中以讀取webapi的方式獲取數據。

3.3 空間交互

虛擬熱軋生產線模型要想展現在現實環境中，首先需要確定其在現實環境中的位置。通過使用蘋果公司推出的增強現實插件ARkit，用C#語言編譯來實現這一功能。首先需要識別并生成模型，接著是識別信息的導入，攝像頭捕捉畫面信息并與預置信息進行對比，最后進行空間的定位來完整展示模型。其中將識別信息導入主要程序代碼如下：

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

[CreateAssetMenu(fileName=“ARReferenceImage”，menuName=“UnityARKitPlugin/ARReferenceImage”，order=2)]

public class ARReferenceImage: ScriptableObject

{

pulic class ARReferenceImage:ScriptableObject;

public string imageName;

public Texture2D imageTexture;

public float physicalSize;

}

3.4 系統優化

3.4.1 三維模型優化

虛擬熱軋生產線的設備模型眾多,且對模型精細度要求較高，模型上任何細小的優化都有助于系統性能的提升。模型面數多少會直接影響計算機的渲染速度,可以選擇把模型里一些難以看見的線和面刪除。在不影響物體展示效果的前提下,將同色物體貼圖的Max size值調成最小,以達到節約系統資源的目的。

3.4.2 燈光陰影優化

Unity3D中的燈光十分耗費資源，燈光范圍越大，耗費資源越多。因此在不影響物體展示效果的前提下，可將燈光范圍值調小一點。燈光照射下的模型在每一幀都需要被渲染，將一些有不太重要的模型合并，可以明顯降低系統資源的消耗。Unity3D中陰影計算量也較大，讓部分模型不做陰影投射可減少系統中的光照分析次數。

4 AR可視化仿真系統驗證

為驗證系統的可行性，將系統發布到帶有蘋果公司操作系統的移動端進行測試。首先啟動程序掃描現實物體進行模型空間位置的確定，圖3左邊為使用iPad掃描現實物體操作，右邊為掃描完成后現實環境中生成的經透明化處理的熱軋生產線模型，整條生產線在空間中水平生成，將平板向前、后、左、右四個方向移動均未出現畫面丟失情況，系統運行過程中音樂自動播放，并且可以較清晰地展示熱軋設備的三維結構。

在現場數據接入后，模型上方顯示軋制信息，例如加熱階段接入的數據是板坯軋制信息，有板坯號、軋制計劃號、鋼卷號、板坯長度X、板坯寬度Y、板坯厚度Z和重量t，具體數據見表2?，F實環境生成的板坯軋制信息畫面見圖4左上，畫面清晰度較高，可滿足裸眼觀察需求。系統可實現板坯的位置和形狀變化展示功能，圖4左下為處于加熱階段的板坯，右下為處于冷卻卷取階段的板坯，完成軋制的板坯規格為Z×Y=12.45×950 mm，滿足熱軋工藝要求。

表2 加熱階段板坯信息

圖3 掃描現實物體及生成的模型

圖4 加熱階段和冷卻卷取階段

5 結束語

經測試基于增強現實技術的鋼鐵生產線可視化仿真系統運行流暢，能較為直觀展現鋼鐵生產線設備的三維結構，接入生產線現場數據后，軋制信息在設備三維模型上方顯示較為清晰，滿足裸眼觀察需求，加工過程中的板坯位置和形狀變化也較為精確。系統一定程度上有利于鋼鐵生產線設備的監控，及時發現設備出現的問題，并進行維修，從而減少損失，提高生產線的維護效率。將系統應用到多條生產線上，可在一定程度上實現集中管控。