基于TSN 的化學(xué)實驗室人員不安全行為模式識別

黃振邦

（1 中國人民公安大學(xué) 信息網(wǎng)絡(luò)安全學(xué)院， 北京 100038； 2 安全防范技術(shù)與風(fēng)險評估公安部重點實驗室， 北京 100038；3 中國人民公安大學(xué) 公共安全行為科學(xué)實驗室，北京 100038）

0 引 言

不安全行為是導(dǎo)致化學(xué)實驗室事故的重要原因之一。 2021 年7 月24 日，江西省吉安市歐普特實業(yè)有限公司由于實驗員操作不當(dāng)，導(dǎo)致了實驗室爆炸事故，造成了1 死1 傷；2021 年3 月31 日，中國科學(xué)院化學(xué)研究所的學(xué)生在實驗過程中因操作不當(dāng)，導(dǎo)致了實驗室爆炸事故，造成1 名學(xué)生當(dāng)場死亡；2018 年2 月28 日，美國賓夕法尼亞州埃克斯頓Frontage 實驗室人員因違規(guī)接觸氰化鉀而導(dǎo)致死亡。 可見，在實驗和其他日常工作中，化學(xué)實驗室中人員的不安全行為、不當(dāng)操作極有可能引發(fā)實驗室安全事故。 事實上，自20 世紀(jì)90 年代起，國內(nèi)外學(xué)者對不同類型的事故原因進行了大量的統(tǒng)計分析，發(fā)現(xiàn)人為因素是事故中最為重要的因素之一。因此，減少實驗室中的人員不安全行為，成為了降低實驗室安全事故風(fēng)險的重要途徑之一。 除加強安全制度的設(shè)計與落實、加大實驗室人員培訓(xùn)力度等管理措施之外，借助科技手段提高實驗室人員不安全行為的識別與預(yù)警能力，也成為了重要的風(fēng)險防控手段。

操作人員在完成各種作業(yè)過程中存在一種潛在的危險性，這種活動行為就叫做不安全行為。 高校化學(xué)實驗室中的人員不安全行為是在違反化學(xué)實驗室管理運行標(biāo)準(zhǔn)規(guī)范的情況下，出現(xiàn)的對實驗室人員、設(shè)備、環(huán)境產(chǎn)生負(fù)面影響乃至危害安全的行為。 例如，清華大學(xué)化學(xué)工程聯(lián)合國家重點實驗室的《實驗室規(guī)章制度》中儀器管理辦法第11 條規(guī)定：不準(zhǔn)攜帶或吃任何零食；中山大學(xué)的《實驗室安全基本準(zhǔn)則》中第6 條規(guī)定：實驗室內(nèi)禁止吸煙、飲食、娛樂和睡覺等與實驗操作無關(guān)的活動；《中國人民公安大學(xué)學(xué)生實驗守則》中規(guī)定：應(yīng)及時制止玩手機、游戲、睡覺等與實驗室內(nèi)容無關(guān)的行為。 在以往的針對實驗室安全的研究中，很多學(xué)者通過研究事故案例，分析事故原因，在安全管理制度、安全標(biāo)準(zhǔn)化建設(shè)、安全教育培訓(xùn)和事故應(yīng)急預(yù)案等方面提出對策，劉寶勇等基于“三一七”理論創(chuàng)新了實驗室管理模式。 近年來，隨著計算機技術(shù)的發(fā)展，趙江平等基于圖像處理技術(shù)對人體跌倒行為進行識別；李明等基于視頻圖像處理對實驗室異常行為進行檢測，得到了較為準(zhǔn)確的結(jié)果。 然而，使用傳統(tǒng)的圖像處理技術(shù)識別人員行為，在提取特征時通常需要進行較為復(fù)雜的參數(shù)調(diào)整，模型的泛化能力和魯棒性通常較差，計算效率較低，實時性差，難以應(yīng)用到實際的實驗室安全管理過程中。

隨著高性能計算和深度學(xué)習(xí)技術(shù)的廣泛賦能，人體行為識別得到了快速發(fā)展。 人體行為識別主要是通過識別、分析人的動作類型、行為模式，并使用自然語言等方式對其加以描述。 行為識別屬于計算機視覺領(lǐng)域中的模式分類問題，主要包括視頻預(yù)處理、行為表達和行為分類3 個步驟。 近年來，國內(nèi)外學(xué)者提出了多種深度學(xué)習(xí)算法驅(qū)動的人體行為識別方法，例如，基于C3D、Two－stream、TSN、TSM、Slow－fast 等深度神經(jīng)網(wǎng)絡(luò)的方法，在公開數(shù)據(jù)集上的識別率普遍達到了較高的水平。 張舟等提出了一種順序驗證的關(guān)鍵幀提取方法，并應(yīng)用到行為識別中；Fang 等通過卷積神經(jīng)網(wǎng)絡(luò)確定工人在高空工作時是否佩戴安全帶；李華等基于深度學(xué)習(xí)方法對建筑工人在工作時是否佩戴安全帽進行檢測；佟瑞鵬等融合了深度學(xué)習(xí)視覺、深度信息圖像、可穿戴傳感器等智能識別技術(shù)，有效提高了礦工不安全行為識別的抗干擾能力；溫廷新等提出了一個基于遷移學(xué)習(xí)的網(wǎng)絡(luò)模型，對煤礦工人的不安全行為進行識別。 然而，利用深度學(xué)習(xí)方法專門針對實驗室中人員不安全行為識別的研究十分匱乏。

基于此，本文首先以某高校化學(xué)實驗室為實驗場景，由多位志愿者在設(shè)定的實驗場景下模擬特定的不安全行為，通過高清攝像機采集視頻監(jiān)控數(shù)據(jù)，構(gòu)建化學(xué)實驗室人員不安全行為模式數(shù)據(jù)集；建立基于時域分割網(wǎng)絡(luò)（Temporal Segment Network，TSN）的人員不安全行為模式識別模型，并測試模型性能，為化學(xué)實驗室人員不安全行為的預(yù)警和防控提供技術(shù)支撐。

1 研究數(shù)據(jù)與方法

本文的技術(shù)路線，分為5 個步驟，如圖1 所示。

圖1 技術(shù)路線Fig.1 Research process

（1）定義本文研究的不安全行為模式，在實驗室場景下通過高清攝像機，采集并整理得到視頻數(shù)據(jù)集；

（2）對視頻數(shù)據(jù)進行數(shù)據(jù)處理；

（3） 建立以深度殘差網(wǎng)絡(luò)（Residual Neural Network， Resnet） 為 基 礎(chǔ) 模 型 的 時 域 分 割 網(wǎng) 絡(luò)（Temporal Segment Network， TSN），在 基 礎(chǔ) 模型Resnet 中增加dropout 層，防止訓(xùn)練數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象；

（4）將處理后的數(shù)據(jù)輸入到網(wǎng)絡(luò)中進行模型的訓(xùn)練并調(diào)整參數(shù)，將數(shù)據(jù)送入SoftMax 分類器中進行分類識別，并使用訓(xùn)練后的模型對化學(xué)實驗室人員不安全行為模式數(shù)據(jù)進行測試；

（5）通過計算召回率、精確率和1 指數(shù)對模型性能進行評價。

1.1 構(gòu)建實驗數(shù)據(jù)集

根據(jù)高校化學(xué)實驗室的相關(guān)管理規(guī)定，本文選擇吃東西、喝水、睡覺、玩手機、聞嗅試劑5 種不安全行為模式作為識別目標(biāo)。 其中，吃東西和喝水會導(dǎo)致出現(xiàn)誤食實驗室危險化學(xué)品的情況；睡覺和玩手機會分散實驗人員對化學(xué)實驗的注意力，從而增加發(fā)生實驗室安全事故的概率；選擇聞嗅試劑作為識別目標(biāo)則是因為化學(xué)實驗室中存在多種有毒化學(xué)試劑，聞嗅試劑可能會損害人體健康。 具體行為模式描述如下：

（1）吃東西。 實驗人員將食物放入口中，隨后進行咀嚼，當(dāng)這兩個動作連續(xù)出現(xiàn)時，即判定實驗人員出現(xiàn)了吃東西行為；

（2）喝水。 實驗人員將裝有液體的杯子或瓶子與口部接觸，做出仰頭或傾斜杯子動作時，即判定實驗人員出現(xiàn)喝水行為；

（3）睡覺。 實驗人員做出趴在桌子上或閉著眼睛背靠在座椅上的動作，且保持該動作時間較長時，即判斷實驗人員出現(xiàn)了睡覺行為；

（4）玩手機。 在實驗室中手持手機進行操作或?qū)⑹謾C放在桌上操作的行為；

（5）聞嗅試劑。 實驗人員的口鼻與裝有液體的試劑瓶、燒杯、試管等實驗儀器接近至一定距離（1 ～5 cm）且口部并未與儀器接觸時，即判定實驗人員出現(xiàn)了聞嗅試劑行為。

本文選擇的實驗場景為某高校化學(xué)實驗室。 實驗室兩側(cè)靠墻部分有儲物柜，儲物柜中的儀器柜上擺放著多種化學(xué)實驗設(shè)備，干燥箱、培養(yǎng)箱、易爆炸的蒸餾器等；儲物柜中的藥品柜中有多種化學(xué)藥品，易燃危險品乙醚等，有毒化學(xué)品硫化氫、金屬鈉等。實驗室中間部分放有兩排長實驗桌，長桌上擺放有燒杯、試管和試劑瓶等實驗器材。 為了盡可能增加場景的多樣性，在實驗室中選取3 個角度設(shè)定了3個實驗場景，如圖2 所示。

圖2 實驗場景Fig.2 Experiment scene

場景1 所設(shè)區(qū)域為實驗室左側(cè)部分，包括儲物柜、實驗桌及座椅；場景2 所設(shè)區(qū)域為實驗室中間，包括兩排實驗桌以及雜亂的座椅；場景3 所設(shè)部分為實驗室右側(cè)部分，包括儲物柜、白色桌布掩蓋的實驗桌及1 張座椅。 由于實驗室場地有限和攝像機的錄制范圍較大，最多可以保證3 個場景之間不會互相干擾，因此選擇設(shè)定3 個場景，每個場景細節(jié)各不相同。

錄制視頻所使用的監(jiān)控攝像機分辨率為4 096×2 160，監(jiān)控攝像機放置高度約為2 m，鏡頭角度為向下傾斜30°，可以覆蓋整條實驗桌及過道并且不會拍攝到其他場景中的人員，攝像頭設(shè)置的位置如圖3 所示。 錄制視頻的幀速率設(shè)置為25 fps，采用自然光照明和室內(nèi)燈照明且照明情況良好。

圖3 實驗室布局示意圖Fig.3 Laboratory layout schematic diagram

采用志愿者模擬不安全行為的方式進行視頻數(shù)據(jù)采集。 共召集志愿者8 名，每名志愿者分別模擬5 種不安全行為模式，并且在同一時間段、同一場景，有且僅有一位志愿者進行不安全行為模式的模擬。 志愿者模擬不安全行為模式的視頻截圖示例，如圖4 所示。

圖4 志愿者模擬不安全行為模式示例Fig.4 Examples of simulated unsafe behavior patterns

1.2 數(shù)據(jù)集處理

對于構(gòu)建的視頻數(shù)據(jù)集，首先進行長段視頻分割，并設(shè)置標(biāo)簽。 將錄制的長段視頻按照6 s 間隔自動分割，得到視頻片段，對得到的視頻片段逐個查看視頻內(nèi)容，并按照定義的不安全行為模式的標(biāo)準(zhǔn)對視頻片段按照類別設(shè)置標(biāo)簽，即將每個視頻片段劃分到5 種不安全行為模式類別下，并對視頻片段文件按照類別進行重命名，得到5 種不安全行為模式的視頻片段共5 646 個。其中，吃東西966 個、喝水967 個、睡覺1 275個、玩手機1 483 個、聞嗅試劑955個。 得到視頻片段后對視頻抽幀，并生成索引文件，用于深度學(xué)習(xí)模型的訓(xùn)練。

模型訓(xùn)練前將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。為了檢驗?zāi)Ｐ驮谄胀S機劃分情況下的識別效果，以及模型針對不同人員的行為模式識別效果，將實驗分成兩組，以數(shù)據(jù)集劃分方式的不同進行區(qū)分。第一組：對所有數(shù)據(jù)隨機進行5 次劃分，每次選取總數(shù)的80%作為訓(xùn)練數(shù)據(jù)，20%作為測試數(shù)據(jù)，每次分別得到4 517 個訓(xùn)練數(shù)據(jù)和1 129 個測試數(shù)據(jù)；第二組：挑選不同人員進行劃分，在8 名志愿者中采用其中7 名志愿者對應(yīng)的視頻作為訓(xùn)練數(shù)據(jù)，1 名志愿者對應(yīng)的視頻作為測試數(shù)據(jù)，測試集中志愿者的視頻數(shù)據(jù)在訓(xùn)練集中不會出現(xiàn)，只在測試集中出現(xiàn)，共進行3 次劃分，分別對模型進行訓(xùn)練、測試。 通過兩種實驗數(shù)據(jù)集劃分方式進行對比實驗，驗證模型的識別效果以及泛化能力。

1.3 模型構(gòu)建

本文構(gòu)建了基于時域分割網(wǎng)絡(luò)（Temporal Segment Network，TSN）的化學(xué)實驗室人員不安全行為模式識別模型。 模型框架如圖5 所示，具體步驟如下：

圖5 模型框架Fig.5 Framework of the model

（1）向模型輸入處理過的視頻數(shù)據(jù)，將輸入的視頻數(shù)據(jù)劃分為時間相等的幾個部分（segment）；

（2）從每個部分中隨機選取視頻段（snippet）進行卷積操作，提取數(shù)據(jù)特征，每部分視頻經(jīng)過卷積操作后都會給出基于該部分視頻行為類別初步預(yù)測得分；

（3）不同部分的初步預(yù)測得分采用共識函數(shù)融合來產(chǎn)生共識，最后將得到的共識送入分類器（預(yù)測函數(shù)）中進行最終的預(yù)測。

具體來說，輸入一個視頻，TSN 把其按相等時間間隔分為部分｛，，…， S｝。 隨后，按照公式（1） 建模。

其中：（，，…， T） 代表段序列，每個段T從其對應(yīng)的部分S中隨機采樣得到；（T；） 表示采用參數(shù)為的深度殘差網(wǎng)絡(luò)作用于視頻段T，（T；） 返回T相對于所有類別的初步預(yù)測得分；代表共識函數(shù)，通過共識函數(shù)，結(jié)合多個部分的初步預(yù)測得分，以獲得其之間關(guān)于預(yù)測類別的共識；代表預(yù)測函數(shù)，本文采用SoftMax 作為預(yù)測函數(shù)，預(yù)測整個視頻中每個行為類別的概率。

本文共識函數(shù)采用簡單形式， 即G ＝g（F（），…， F（T）），對于類別（1，2，…，5），采用取平均函數(shù)，從所有部分中相同類別的得分中推斷出某個類別分?jǐn)?shù)G。

本文卷積操作選擇了深度殘差網(wǎng)絡(luò)Resnet101作為基礎(chǔ)模型，由100 個卷積層和1 個全連接層組成，總共包含5 個層級。 其中，Max Pool 表示最大池化；Average Pool 表示平均池化；fc 表示全連接層，并在全連接之前增加dropout，防止數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象；Conv 表示改變維度的卷積塊；Conv Block 表示不改變維度的卷積塊，每個卷積塊由3 個卷積層組成。

模型訓(xùn)練參數(shù)設(shè)置：輸入視頻分為3 部分，學(xué)習(xí)率為0.001，訓(xùn)練批量為16，迭代次數(shù)為100，dropout比率為0.8，迭代次數(shù)達到30、60 時衰減學(xué)習(xí)率。

1.4 模型評價指標(biāo)

本文采用召回率（）、精確率（） 和1 指數(shù)對模型的識別結(jié)果進行評價，計算式（2）～式（4）如下：

其中：為被正確分類的正樣本數(shù)；為被正確分類的負(fù)樣本；為被錯誤分類的負(fù)樣本；為被錯誤分類的正樣本。

例如，對聞嗅試劑這種模式而言，當(dāng)標(biāo)簽為聞嗅試劑的樣本被識別為聞嗅試劑時，就屬于被正確分類的正樣本；當(dāng)標(biāo)簽為聞嗅試劑的樣本被識別為其他行為模式的樣本時，就屬于被錯誤分類的正樣本；當(dāng)其他幾種行為模式的樣本被識別為聞嗅試劑時，就屬于被錯誤分類的負(fù)樣本。

2 結(jié)果與討論

為了驗證模型對化學(xué)實驗室場景下的不安全行為的識別效果及泛化能力，使用本文構(gòu)建的化學(xué)實驗室人員不安全行為模式數(shù)據(jù)集對構(gòu)建的模型進行測試。 共進行兩組實驗，通過第一組實驗驗證模型的識別效果，通過第二組實驗驗證模型的泛化能力，并對出現(xiàn)的情況進行分析和討論。

第一組實驗得到的5 次測試結(jié)果的召回率（）、精確率（）、1 指數(shù)的平均值見表1。

表1 第一組實驗測試結(jié)果Tab.1 Test results of the first group of experiments %

模型識別5 種不安全行為模式的結(jié)果的召回率（）、精確率（） 和1 指數(shù)的平均值分別達到了99.3%、99.5%和99.4%，各項評價指標(biāo)均在98%以上，表明本文構(gòu)建的基于時域分割網(wǎng)絡(luò)的化學(xué)實驗室人員不安全行為模式識別模型，可以準(zhǔn)確地識別本文定義的5 種化學(xué)實驗室不安全行為模式，具有較好的識別效果。

第二組實驗得到的3 次測試結(jié)果的召回率（）、精確率（）、1 指數(shù)的平均值，見表2。 模型識別5 種不安全行為模式的結(jié)果的召回率（）、精確率（） 和1 指數(shù)的平均值分別是972、975和973，與第一組實驗相比略低。 喝水模式的召回率僅為92.9%。 實驗結(jié)果顯示，第二組實驗的第1 次實驗中模型誤識別的樣本數(shù)量較多，因此對該次實驗結(jié)果進行進一步分析，第二組實驗中第1 次實驗結(jié)果的部分混淆矩陣，見表3。 喝水樣本中有10 個樣本被誤識別為聞嗅試劑，可能是由于用杯子喝水和湊近燒杯聞嗅試劑的行為存在相似性；玩手機的樣本中有6個樣本被誤識別為吃東西，可能是由于監(jiān)控攝像頭在實驗區(qū)域的斜上方，人體遮擋住了手機或食物，導(dǎo)致出現(xiàn)誤識別的情況； “吃東西”的樣本中有2 個樣本被誤識別為喝水，可能是由于吃東西和喝水都是將食物或水杯遞到嘴邊，行為存在相似性。

表2 第二組實驗測試結(jié)果 Tab.2 Test results of the second group of experiments %

表3 第二組實驗部分混淆矩陣Tab.3 Partial confusion matrix of second group of experiments

第二組實驗總共設(shè)置3 次實驗，其余2 次實驗中被誤識別的樣本數(shù)量較少，其識別結(jié)果的各項評價指標(biāo)與第一組實驗相近，只有第1 次實驗中出現(xiàn)了被誤識別的樣本數(shù)量較多的情況。 出現(xiàn)這種情況的原因是第1 次實驗的測試集中志愿者存在多余動作，對模型識別不安全行為模式造成了一定程度的干擾，但是第二組實驗?zāi)Ｐ妥R別結(jié)果的各項評價指標(biāo)仍在90%以上，表明模型仍可以較為準(zhǔn)確地對視頻數(shù)據(jù)進行識別。 在高校化學(xué)實驗室中，實驗人員在進行實驗時不可避免地會存在多余動作，而實驗結(jié)果也證明了在針對存在多余動作的視頻數(shù)據(jù)時，本文構(gòu)建的模型仍可以較為準(zhǔn)確地按照本文定義的標(biāo)準(zhǔn)對各個不安全行為模式視頻進行識別，表明本文構(gòu)建的基于時域分割網(wǎng)絡(luò)的化學(xué)實驗室人員不安全行為模式識別模型具有一定的泛化能力，即面對新出現(xiàn)的人員，也可以準(zhǔn)確地識別本文定義的5 種不安全行為模式。

3 結(jié)束語

為了建立化學(xué)實驗室場景下的人員不安全行為模型，本文首先調(diào)研了高校化學(xué)實驗室的相關(guān)規(guī)章制度，定義了喝水、吃東西、玩手機、睡覺、聞嗅試劑5 種化學(xué)實驗室人員不安全行為模式，進而構(gòu)建了不安全行為模式視頻數(shù)據(jù)集，建立了基于時域分割網(wǎng)絡(luò)的化學(xué)實驗室人員不安全行為模式識別模型，對上述5 種不安全行為模式進行識別。 結(jié)果顯示，在第一組實驗中，5 種行為模式識別結(jié)果中的1 指數(shù)均在99%以上；第二組實驗中，5 種行為模式的識別結(jié)果的1 指數(shù)均在95%以上。

本文構(gòu)建的基于時域分割網(wǎng)絡(luò)的化學(xué)實驗室人員不安全行為模式識別模型，可以在化學(xué)實驗室場景中準(zhǔn)確地識別本文定義的5 種不安全行為模式，且該模型具有一定的泛化能力，預(yù)期可以為化學(xué)實驗室人員不安全行為預(yù)警和風(fēng)險防控提供技術(shù)支持。

本文的研究工作仍存在一些不足之處，如定義的不安全行為模式較簡單，而在化學(xué)實驗室場景中仍存在更加復(fù)雜的不安全行為模式，這些復(fù)雜的行為模式目前尚難以基于本文提出的方法進行準(zhǔn)確識別，仍有待進一步研究。