基于YOLOv8和大語言模型的危險公示標簽智能識別研究

摘要：文章提出并建立了一套完善的智能識別系統。此系統能夠根據海關查驗指令及危化品監管要求，準確、高效地對危險化學品危險公示標簽的商品標識、象形圖、信號詞、危險說明、防范說明、供應商標識等信息進行自動識別并基于AI智能模型對關鍵信息的準確性和邏輯性進行智能驗核，全面助力相關監管工作的順利開展，提升整體監管效能與準確性。整體架構上，系統分為數據層、服務層、應用層以及展示層等多個層級。各層級之間相互協作、數據流轉順暢，共同實現系統功能。該系統采用YOLOv8作為目標檢測模型，與Qwen大語言模型相結合，根據結果設計針對性的識別程序，能夠更準確地形成標準結構化輸出結果。

關鍵詞：智能識別；標簽檢測；YOLOv8；識別系統

中圖分類號：TP183

文獻標志碼：A

0 引言

隨著海關查驗工作以及危化品監管需求的日益提升，化學品相關信息的精準、智能識別變得愈發重要。傳統的人工識別方式效率低且易出錯，難以滿足當下高效、準確監管的要求。在此背景下，本系統應運而生，旨在利用先進的技術手段，為海關查驗及危化品監管提供有力的技術支持。

1 危險化學品標簽智能識別算法描述

1.1 YOLOv8概述

YOLOv8是一種單階段目標檢測算法，廣泛應用于工業發展的各個領域，顯著提高了檢測精度和速度，成為當前最先進的目標檢測算法之一^［1］。YOLOv8采用了精巧的網絡模塊設計，優化了主干網絡，采用了更高效的卷積操作，結合了新的C2f特征提取模塊，增強了對多目標和高密度場景的處理能力。YOLOv8在計算開銷和推理速度方面進行了優化，在保持較高精度的同時實現實時檢測。這對于需要快速響應的應用場景至關重要。

1.2 Qwen 大語言模型概述

Qwen是由阿里巴巴集團通義千問團隊研發的開源大語言模型^［2］。Qwen支持超過29種語言，能夠更精準地執行復雜命令，生成超過8K標記的長文本，擅長處理結構化數據，如表格和JSON格式內容。Qwen具有強大的自然語言處理能力，能夠有效理解和概括文本中的關鍵信息，適用于處理圖像識別系統提取的文字信息、象形圖分類以及公章文字識別等任務。

1.3 本文智能識別算法

本文的智能識別算法包含2個關鍵模型：危險公示標簽的智能識別模型和智能審核模型。

危險公示標簽的智能識別模型的主要任務是自動從危險公示標簽圖像中提取關鍵信息，如商品標識、信號詞、象形圖、危險說明等。為此，本文采用深度學習技術構建模型，使用YOLOv8目標檢測模型對表單字段進行定位，隨后利用PP-OCR系列模型識別印刷體文字并進行關鍵信息抽取，利用預訓練的SAM語義分割模型進行圖像分割任務^［3］，提取公章圖像及相關細節。通過這3種技術，該智能識別算法能夠整合識別結果，生成結構化的輸出數據，為后續的智能審核提供有力支持。

智能審核模型的主要任務是基于提取的危險公示標簽關鍵信息進行智能審核并給出審核結果和風險提示。為此，本文選用Qwen大語言模型，該模型具有強大的自然語言處理能力，能夠理解和概括文本中的關鍵信息，用于處理圖像識別系統提取的文字信息、象形圖分類和公章文字信息。具體而言，首先，根據海關業務需求和法律法規，構建包含各類規則和判斷邏輯的知識庫作為模型的基礎。其次，利用監督學習方法對規則進行補充和優化^［4］。再次，將輸入單據類型、概括后的關鍵信息與知識庫中的規則進行匹配，判斷信息是否符合規則要求。最后，Qwen大語言模型使用自然語言輸出結果，根據結果設計針對性的識別程序，形成標準結構化輸出結果，返回業務系統。模型結構如圖1所示。

2 危險化學品標簽智能識別架構設計

本項目的整體設計方案旨在構建一個高效、智能且安全可靠的危化品信息識別與管理系統，以滿足海關查驗指令及危化品監管要求。整體架構上，系統將分為數據層、服務層、應用層以及展示層等多個層級。各層級之間相互協作，共同實現系統功能。

（1）系統底層由服務器、網絡、GPU集群及云平臺相關操作系統支撐，相關應用部署在該環境中。

（2）基礎層提供了OCR識別、NLP自然語言處理、LLM大模型、機器學習和深度學習等智能識別和自動審核所需的支撐技術能力組件。

（3）存儲層存儲了業務所需的結構化和非結構化數據，同時存儲了抽取數據模型、標注數據、訓練模型數據以及系統運行的數據。數據存儲采用關系型數據庫和分布式文件存儲服務。

（4）數據與圖譜構建層將系統中的原態數據進行清洗、轉換，根據知識模型識別數據類別形成主題庫。通過知識識別、知識標識、知識融合、知識關聯、知識集成技術，從數據中提取知識最終形成知識圖譜，使用大預言模型為上層應用及服務層提供數據支撐。

（5）應用層為業務應用平臺提供服務和中間件支持。建設各類邏輯服務中間件，如智能識別、語義搜索、智能推薦、輔助決策、圖譜可視化及配置服務等。應用層是各項功能業務應用功能正常開展的基本單元。

（6）用戶。本系統服務的用戶為海關內部用戶。用戶使用移動App端查驗顯示進行危險公示標簽的智能識別和自動驗核服務，在內網管理端進行數據的管理和查詢服務。

3 AI模型算法開發設計

3.1 圖像識別技術路徑

通過OCR、目標檢測（YOLOv8）和圖像分割（SAM模型）技術，實現對危險公示標簽中的文字、象形圖及其內部文字的全面識別。具體路徑如下。

3.1.1 數據準備與預處理

數據收集：收集各類危險公示標簽件，包括進出口各類企業的文件。

數據標注：對掃描件中的印刷體文字、象形圖及其內部文字進行標注，生成訓練所需的數據集。

數據預處理：對掃描件進行圖像增強、去噪、二值化等預處理操作，提高識別準確率。

3.1.2 模型選擇與訓練

本文選用YOLOv8模型進行目標檢測，使用標注好的象形圖數據集訓練YOLOv8模型，使其能夠準確檢測出圖像中的特定目標。使用SAM進行語義圖像分割并根據標簽對分割后的圖像進行歸類，調用象形圖模型進行識別處理。

3.1.3 結果整合與輸出

將印刷體文字、象形圖位置及其內部文字等識別結果進行整合，生成結構化的輸出數據。輸出數據可用于后續的審核服務。

3.2 內容審核技術路徑

3.2.1 關鍵信息概括

Qwen大語言模型具有強大的自然語言處理能力，能夠理解和概括文本中的關鍵信息。該模型用于處理圖像識別系統識別出的文字信息、象形圖分類和公章文字信息。

3.2.2 規則判斷與提示詞

（1）知識庫構建。

根據海關業務需求和法律法規，構建包含各類規則和判斷邏輯的知識庫。規則邏輯可以用自然語言描述。規則匹配：將輸入單據類型、概括后的關鍵信息與知識庫中的規則進行匹配，判斷信息是否符合規則要求。

（2）提示詞。

設計相應的提示詞，用于指示模型進行規則判斷處理。

3.2.3 結果輸出

大語言模型使用自然語言輸出結果。根據結果設計針對性的識別程序，形成標準結構化輸出結果，返回業務系統。

3.3 危化品標簽識別模型的構建

3.3.1 危化品標簽要素識別分割模型算法訓練開發

該模型主要對危化品標簽上的各個要素進行精確識別和分割，利用深度學習中的圖像分割技術，對標簽圖像中的每個要素進行邊界檢測和區域劃分。通過訓練算法，模型能夠學習到這些要素的特征和分布規律，從而在測試階段對新的標簽圖像進行自動分割和標注。

（1）標注工作。

依據危化品隨附單據樣本數據，將PDF格式按頁轉換成圖片格式，對圖片格式的安全公示標簽使用labelStudio進行標注，形成訓練數據集。

（2）訓練安全公示標簽圖片分割模型。

使用標注數據，進行YOLOv8模型的訓練。使用AI算力服務器訓練，Epoch迭代100次，生成訓練后模型best.pt、last.pt。

（3）安全公示標簽模型驗證識別。

將現場采集的危險公示標簽提交進行智能識別，將產品標識、象形圖^［5］、危險說明、防范說明、供應商標識等不同部分的信息分別在不同區域以合適的格式（文字、圖片等）呈現，方便使用者一目了然地查看各項關鍵內容。

3.3.2 危化品標簽各要素圖片OCR識別模型算法

該模型的主要功能是對危化品標簽上的文本信息進行光學字符識別（Optical Character Recognition，OCR）。它利用深度學習中的OCR技術，對分割出的文本圖像進行字符識別和文本提取。通過訓練算法，模型能夠學習到文本圖像中字符的布局、大小、字體等特征，從而實現對文本信息的準確識別^［5］。該模型對于提取標簽上的化學品名稱、編號、警告語等關鍵文本信息具有重要意義。

4 危險化學品標簽智能識別系統業務流程

危險化學品標簽智能識別系統的業務流程涵蓋數據采集、預處理、特征提取、分類、品類確認、智能驗核及智慧展示等關鍵環節。該系統通過集成多種技術手段，確保危化品標簽信息的準確識別和高效處理。

4.1 數據采集流程

工作人員根據現場需求選擇合適的移動終端設備的攝像頭或掃描功能，進行危險化學品標簽的拍攝或掃描操作，以獲取標簽圖像及其相關的文字信息。

4.2 數據預處理流程

預處理模塊首先進行數據格式的校驗和清洗，去除圖像中的噪聲及干擾信息，對其中的文字信息進行編碼轉換、錯誤糾正等操作，確保數據質量得到優化，根據預設規則對數據進行標準化處理。

4.3 特征提取流程

系統采用文字識別模型和圖像識別模型對預處理后的數據進行深度分析。針對危化品標簽上的關鍵元素，系統精準提取出具有決定性影響的文字和圖標特征。隨后，系統依據業務邏輯對這些特征進行分類并建立嚴謹的關鍵詞對應關系，形成特征集合。

4.4 特征分類流程

系統將依據提取的特征集合，結合特征的位置信息及預設的內容關鍵詞等多維度因素，自動進行初步的特征分類。分類結果完成后，現場工作人員將進行人工確認。

4.5 確認品類流程

系統依據特征分類的結果提取相應的產品標識信息并與業務數據庫中的范本信息進行比對。通過匹配產品名稱、CAS號等關鍵指標，系統能夠準確確認危化品的品類。

4.6 智能驗核流程

系統從數據庫中提取該品類對應的范本信息，將其與前述特征提取和分類后的信息進行結合，利用智能算法進行智慧識別和智能判定。系統全面分析危化品相關信息的準確性和邏輯性，判斷信息是否符合要求并最終得出精準的識別結果。該結果將被反饋至展示層。

4.7 智慧展示流程

當系統通過智能識別確認品類時，展示層將清晰分區顯示各類信息。同時，數據庫支持持續錄入新的范本信息，工作人員可以根據實際情況反饋、調整和修改系統的匹配標準，以不斷完善數據庫，確保展示的信息更加貼合實際應用場景。通過上述流程的緊密銜接和高效協作，危險化學品標簽智能識別系統能夠提供精準、智能、實時的識別和判斷，支持危化品監管和海關查驗等任務的高效開展。

5 結語

本研究通過綜合應用YOLOv8目標檢測模型和Qwen大語言模型，實現了對危險化學品標簽的自動識別與核查，極大地提升了危化品監管的效率與準確性。系統從數據采集、預處理到智能識別，再到結果展示，構建了一個多層級的架構，確保了數據流轉的高效性和各環節的有序協作。通過移動終端設備采集標簽信息，系統能夠迅速處理并核對關鍵數據，如商品標識、象形圖、信號詞等，有效減少了人工干預與判斷錯誤，確保了危險化學品的準確分類與合規性驗證。本研究不僅提升了海關查驗與危化品監管的工作效率，還在風險防控和安全監管上發揮了重要作用。

參考文獻

［1］曹斯茹，金可藝，陳惠妹.基于深度學習的目標檢測算法研究［J］.中國新技術新產品，2025（1）：1-3.

［2］李佳沂，黃瑞章，陳艷平，等.結合提示學習和Qwen大語言模型的裁判文書摘要方法［J］.清華大學學報（自然科學版），2024（12）：2007-2018.

［3］王淼，黃智忠，何暉光，等.分割一切模型SAM的潛力與展望：綜述［J］.中國圖象圖形學報，2024（6）：1479-1509.

［4］王思穎.基于深度強化學習的多智能體協同算法關鍵技術研究［D］.成都：電子科技大學，2023.

［5］盧健，車禮東，郭兵，等.危險化學品安全標簽國家標準與GHS制度要求的比對與分析［J］.標準科學，2021（5）：78-83.

［6］陳麗，任穎.基于OCR識別的民生檔案數字化管理研究［J］.中國信息界，2024（3）：6-8.

（編輯 王雪芬）

Research on intelligent recognition of hazardous public labeling based on YOLOv8 and large language model

LYU Jian¹， LIU Yanghong^2，3*， ZHU Jinlian¹， ZHANG Yu¹

（1.Nanjing Customs of the People’s Republic of China， Nanjing 210001， China;

2.School of Railway Intelligent Engineering， Dalian Jiaotong University， Dalian 116028， China;

3.Dalian Rolling Stock Co.， Dalian 116045， China）

Abstract：A perfect intelligent identification system is proposed and established， which can accurately and efficiently automatically identify the commodity identification， pictogram， signal word， hazard description， precautionary description， supplier identification and other information of the hazardous publicity label of hazardous chemicals in accordance with the customs inspection instructions and the regulatory requirements of hazardous chemicals， and intelligently verify the accuracy and logic of the key information based on the AI intelligent model， which comprehensively helps the related regulatory work smoothly and improve the overall efficiency and accuracy. The system will comprehensively help the smooth development of related regulatory work and improve the overall regulatory efficiency and accuracy. On the overall architecture， the system will be divided into data layer， service layer， application layer and display layer， etc.， and each layer will collaborate with each other and smooth data flow to realize the system functions together. The system adopts YOLOv8 as the target detection model， combines with Qwen big language model， designs targeted recognition program according to the results， and can form standard structured output results more accurately.

Key words：intelligent recognition; label detection; YOLOv8; recognition system