基于機器視覺的核酸采樣自助裝置

鄒慶奧，李 潔，李小龍，周長見，冀海博，王新軍

（濱州學院航空工程學院，山東 濱州 256600）

0 引言

目前新冠病毒不斷變異，病毒的感染者多且癥狀嚴重，全國各地疫情防控任務不斷加重。全國部分地區出現了醫護人員緊張甚至短缺的問題，嚴重影響到核酸檢測的進程與患者的救治，對地區疫情防控形式提出了巨大的挑戰，同時給當地社會治理經濟發展帶來不小壓力[1]。因此，針對社會疫情防控形勢與核酸檢測需求，各大高校與科技創新型企業都展開了對自動核酸采樣機器人的研究[2]。開展核酸檢測自助裝置的研究，提出了面向廣大的市民與社區的“基于機器視覺的核酸檢測自助裝置”。利用單片機基于PID 算法、蟻群算法等算法去控制并修正機械臂的運動，同時搭配機器視覺與神經網絡的訓練勘測人體口腔咽喉位置[3]，并搭配無線通信裝置將被采樣人信息上傳至大數據庫中。

1 總體設計方案

基于機器視覺的核酸檢測裝置是以STM32 單片機為控制核心，采用OpenMV 視覺模塊識別人臉嘴部特征以實現在市民張嘴時咽喉位置的精確定位[4]，通過串口通信將咽喉位置數據傳遞給單片機去控制機械臂運動對市民進行咽拭子核酸檢測，同時通過OpenMV 視覺模塊識別身份信息并由OLED 屏幕顯示，通過WIFI 模塊將采集的市民身份信息進行發送實時傳送至大數據庫[5]。該系統的設計關鍵在于被檢測者口腔咽喉部位關鍵點提取以及機械臂雙臂的精確控制與配合，完成核酸采樣工作，同時避免對檢測者的口腔造成傷害。其中基于機器視覺的核酸檢測裝置系統總體框圖如圖1 所示。

圖1 系統總體框圖

圖2 圖像采集電路原理圖

圖3 機械臂控制電路原理圖

2 系統設計

基于機器視覺的核酸檢測裝置的系統設計實現是通過硬件電路的設計連接與軟件程序設計實現兩個重要部分。

2.1 硬件電路設計

2.1.1 圖像采集電路設計

該系統的圖像采集識別功能是通過Open MV 視覺模塊設計實現的，可以完成核酸檢測二維碼上身份信息的系別與發送和被檢測者口腔咽喉部位的位置識別發送等相關任務，其圖像采集電路原理圖如2 所示。單片機通過PA9（USART_TX）引腳與OpenMV 的P5 （UART_RX）引腳相連，接收端PA10（USART1_RX）與OpenMV 的發送端P4（UART_TX）相連，以此來實現串行通信。

2.1.2 機械臂控制電路設計

機械臂是該系統的執行器，是完成核酸檢測任務的一大關鍵，通過控制核心的控制完成咽拭子采樣器的抓取、核酸樣本的采樣與安置等相關功能，它主要有機械構件與舵機L298N 等組成，機械臂控制電路原理圖如3 所示，單片機通過驅動器L298N 輸出4路PWM 信號控制4 個舵機[6]。

3 路PWM 信號由單片機的TIM5 定時器產生，通過PA0、PA1、PA2、PA3 四個引腳輸出。四個引腳分別連接到L298N 四個輸入端IN1～IN4，通電工作后，L298N 的四個輸出端就能夠將功率放大后的PWM信號送至舵機的控制端，從而實現舵機的轉動控制效果。舵機（MG995）的控制由PWM 信號占空比來決定。PWM 信號的周期為20 ms，占空比在2.5% ～12.5%范圍內。

2.1.3 無線傳輸電路設計

WiFi 模塊作為該核酸檢測系統的傳輸橋梁，可以高性能地實現Open MV 圖像處理模塊與STM32單片機之間的通信完成身份信息和咽喉位置信息的發送與接受任務，避免干擾的發生；同時該模塊也可以將身份信息傳出至智能終端中進行數據的存儲。該系統中采用的無線傳輸為ESP8266 WIFI 模塊，其發送引腳和接收引腳分別與單片機的PC11（USART4_RX）和PC10（USART4_TX）相連，通過AT 指令配置模塊后，即可實現數據的收發，其無線傳輸電路原理如圖4 所示。

圖4 無線傳輸電路原理圖

2.2 軟件程序設計

基于機器視覺的核酸采樣自助裝置要完成一次核酸檢測主要程序包括以下兩部分：

2.2.1 機械臂控制咽拭子采集與儲存

機械臂的控制過程主要通過配置PWM 信號控制舵機的運動，同時復制PID 算法等進行校正，PWM信號配置流程圖如圖5 所示。首先對STM32 單片機上定時器TIM5 進行基本配置，主要包括周期、預分頻值、時鐘分割參數、計數模式4 個方面。為了實現PWM 功能，需要將PA0、PA1、PA2、PA3 四個通道使能，將引腳模式設置為推挽輸出（GPIO_Mode_AF_PP）速度設為50 MHz（GPIO_Speed_50MHz）做完基本的配置之后，只需要改變庫函數“TIM_SetCompare2（TIM5，X）”中的第二個參數，即可更改占空比，從而改變舵機轉動的角度。機械臂抓取咽拭子的控制核心程序為：

圖5 PWM 信號配置流程圖

2.2.2 OpenMV 識別健康碼與OLED 顯示屏顯示

通過OpenMV 對全民核酸檢測二維碼進行掃描，識別出姓名、電話、身份證號碼等信息經過處理后信息在OLED 顯示屏顯示，可以與被檢測者進行交互確保檢測身份信息的正確。二維碼身份信息的識別設計過程如圖6 所示，其二維碼信息讀取主程序為：

圖6 二維碼身份信息識別

3 系統性能測試

該系統可完成身份信息采集、口腔與咽喉部位的識別、咽拭子采集與儲存等功能，并對待測者嘴巴張開時檢測裝置對咽喉位置識別的精度、機械臂抓取咽拭子采樣器觸碰咽喉部的采樣成功率進行了測試。

3.1 身份信息采集

采樣者首先根據語音提示利用IC 卡身份證信息采集器收集基本信息并進行展示和比對，其次通過WIFI 模塊將收集的身份信息儲存并上傳至云端。

本裝置采用的是I2C 通信的OLED 顯示屏，在單片機主程序通過指令向顯示屏發送字符，由顯示屏進行顯示，圖7 為被檢測人員身份信息識別過程。經驗證身份信息采集成功率100%，減少了醫護人員采集身份信息的工作量。

圖7 身份信息識別過程

3.2 口腔與咽喉部位的識別

采用OpenMV 機器視覺模塊，掃描人臉圖像，提取出被檢測者嘴部關鍵點數據，通過串口通信將關鍵點數據傳送到主控芯片，處理修正相關數據參數，進一步引導機械手運動姿態，使機械臂與嘴部處于最佳的位置關系。

OpenMV 通過調用Hara 面部識別算子，通過調節程序中thresholds 參數實現面部識別，嘴部識別增加調用嘴部的Hara 算子，設置roi 參數來實現，圖8為本裝置采集的人臉及咽喉部位識別圖。

圖8 咽喉部位識別圖

3.3 咽拭子采集與儲存核酸樣本采集

機械臂運動主要靠的是機械臂關節處的舵機旋轉角度，主要靠程序中設定輸出的PWM 信號來控制的。機械臂首先從咽拭子儲存裝置中取出咽拭子，然后根據視覺信息運動到口腔夾取咽拭子進行采集并取出咽拭子放到提取管中存儲。經過視覺訓練引導機械臂將拭子運送到試管的上方釋放拭子，完成一次檢測，圖9 為機械臂夾取、采集、存儲咽拭子樣本過程。

圖9 機械臂夾取、采集、存儲咽拭子樣本過程

4 總結

該裝置主要應對當下新冠疫情防控的嚴峻局勢，需要定期的核酸檢測進行排查保證社會層面的動態清零，該檢測裝置集高端智能化、多元化、采樣大眾化、人機協同化思想于一體[7]。通過OpenMV 視覺模塊采取實時人臉圖像與咽喉位置，讀取嘴部關鍵點數據，精準識別采樣位置；利用STM32 單片機控制機械臂模塊抓取拭子采樣并收集器中，機械臂將抓獲新的咽拭子，進行下一輪采集。同時該裝置可利用語音播報模塊，提前錄入友好親切語音的信息并在核酸采集過程中進行播報指導完成核酸檢測地相關動作。目前，系統身份信息采集系統和儲存核酸樣本過程已完成，但咽拭子采集功能未在醫院或者社區對被測試者進行試驗，無法給出采樣準確率的相關數據。后續系統功能完善后，可以實現核酸采樣全過程，從而減輕醫護人員的工作壓力，提升采集的效率。