基于圖像、氣味識(shí)別相融合的掃地機(jī)器人控制策略

孫霖

（中國(guó)石油大學(xué)（華東），山東青島，266580）

0 引言

掃地機(jī)器人，又稱自動(dòng)打掃機(jī)、地寶等，是一種智能化家用電器。近年來(lái)，業(yè)界在對(duì)掃地機(jī)器人的研究主要聚焦于避障、自清潔等領(lǐng)域[1]，然而，對(duì)于養(yǎng)寵物的家庭，經(jīng)常會(huì)遇到寵物在家里的地板上排放糞便的情況，若掃地機(jī)器人不能正確識(shí)別糞便而將其作為常規(guī)污染物，采用常規(guī)的模式對(duì)地板進(jìn)行清理，極有可能會(huì)把糞便擴(kuò)散的滿屋子都是。現(xiàn)有的糞便識(shí)別方法常用兩種，一種是通過(guò)圖像識(shí)別，先將不同形狀糞便照片提供給掃地機(jī)器人，結(jié)合使用環(huán)境中掃地機(jī)器人拍攝的圖片對(duì)糞便進(jìn)行識(shí)別；另一種是通過(guò)氣味識(shí)別，如公開(kāi)號(hào)為（CN108991993A）的中國(guó)發(fā)明專利通過(guò)周圍空氣中氨氣、硫化氫等氣體濃度用于對(duì)動(dòng)物糞便進(jìn)行識(shí)別[2]，然而，上述方案存在以下幾個(gè)問(wèn)題：僅通過(guò)氣體或僅通過(guò)圖像對(duì)糞便的識(shí)別，識(shí)別準(zhǔn)確度不高；異味氣體受風(fēng)向影響較大，當(dāng)糞便位于掃地機(jī)器人的下風(fēng)口時(shí)有可能識(shí)別不出。

針對(duì)以上問(wèn)題，本文采取的基于圖像、氣味識(shí)別相融合的掃地機(jī)器人控制策略可以將寵物糞便識(shí)別準(zhǔn)確率提高到95%以上。

1 硬件系統(tǒng)設(shè)計(jì)方案

本文設(shè)計(jì)的掃地機(jī)器人控制系統(tǒng)，如圖1 所示，由電源模塊，處理器，光線強(qiáng)度傳感器，攝像頭，氣體傳感器，糞便清理模塊等組成。

圖1 掃地機(jī)器人電路連接圖

■1.1 光線強(qiáng)度傳感器

光線強(qiáng)度傳感器型號(hào)為BH1750，集成在掃地機(jī)器人的側(cè)邊，用于感知行進(jìn)路線內(nèi)的光照強(qiáng)度，并將結(jié)果發(fā)送給處理器。該傳感器是一種用于兩線式串行總線接口的數(shù)字型光強(qiáng)度傳感器，可方便集成于其他結(jié)構(gòu)部件中，同時(shí)，其內(nèi)部由光敏二極管、運(yùn)算放大器、ADC 采集、晶振等組成，對(duì)應(yīng)廣泛的輸入光范圍，光強(qiáng)檢測(cè)的準(zhǔn)確率高。

■1.2 處理器

核心處理器芯片為SMT32F103C8T6，該芯片配有ARM Cortex-M3 32 位微控制器，48 路LQFP 封裝.它結(jié)合了高性能的RISC 內(nèi)核，運(yùn)行頻率可達(dá)72MHz。處理器接收光線強(qiáng)度傳感器、攝像頭、氣體傳感器信號(hào)，實(shí)現(xiàn)圖像識(shí)別模塊、氣體識(shí)別模塊和判斷模塊三個(gè)模塊功能，圖像識(shí)別模塊用于通過(guò)圖像判斷掃地機(jī)器人的行進(jìn)路線前方是否存在寵物糞便；氣體識(shí)別模塊[4]，用于根據(jù)氣體傳感器模塊采集的氣體含量識(shí)別是否存在寵物糞便；判斷模塊，用于判斷圖像識(shí)別模塊與氣體識(shí)別模塊輸出的結(jié)果是否相同，用于對(duì)光線強(qiáng)度傳感器采集的光線強(qiáng)度與預(yù)設(shè)閾值比較。

■1.3 攝像頭

攝像頭的型號(hào)為KS861-60，集成于掃地機(jī)器人的側(cè)邊，且距地高度和角度可靈活調(diào)節(jié)，優(yōu)先選擇為廣角的攝像頭，以方便采集行進(jìn)路線前方的圖像[5]，并傳輸給處理器。

■1.4 氣體傳感器

氣體傳感器包括氨氣傳感器、硫化氫傳感器和甲烷傳感器，用于采集環(huán)境中的氣體信息，并將結(jié)果傳輸給處理器，氨氣傳感器選用MQ137 產(chǎn)品，MQ137 氣體傳感器所使用的氣敏材料是電導(dǎo)率較低的二氧化錫，靈敏度高，壽命長(zhǎng)，采用簡(jiǎn)單的電路即可將電導(dǎo)率的變化轉(zhuǎn)換為與該氣體濃度。

■1.5 糞便清理模塊

糞便清理模塊為強(qiáng)力吸塵裝置，在檢測(cè)到寵物糞便時(shí)，首先通過(guò)強(qiáng)力吸塵裝置將寵物糞便吸進(jìn)掃地機(jī)器人中單獨(dú)的糞便儲(chǔ)存袋中，不與灰塵袋混用，同時(shí)，處理器控制清水桶將水灑在清洗刷具上清洗，并將污水聚攏收集到污水箱，可將寵物糞便完全清理干凈。

2 軟件系統(tǒng)設(shè)計(jì)方案

基于圖像、氣味識(shí)別相融合的掃地機(jī)器人控制策略流程如圖2 所示。

圖2 掃地機(jī)器人控制策略流程圖

掃地機(jī)器人在工作狀態(tài)時(shí)，會(huì)處于動(dòng)態(tài)環(huán)境中，環(huán)境參數(shù)會(huì)隨時(shí)變化，因此，首先檢測(cè)掃地機(jī)器人所處環(huán)境中的光線強(qiáng)度，根據(jù)環(huán)境光線強(qiáng)度的不同，采取不同的控制策略，具體包括以下步驟：

步驟1：控制掃地機(jī)器人的光線強(qiáng)度傳感器檢測(cè)行進(jìn)路線預(yù)定范圍內(nèi)的光線強(qiáng)度，并將檢測(cè)結(jié)果發(fā)送給處理器。

步驟2：處理器將收到的光線強(qiáng)度值與預(yù)設(shè)閾值比較；若大于等于預(yù)設(shè)閾值，則進(jìn)入步驟3，采用強(qiáng)光照強(qiáng)度處理策略；若小于預(yù)設(shè)閾值則進(jìn)入步驟5，采用弱光照強(qiáng)度處理策略。

掃地機(jī)器人在工作過(guò)程中，會(huì)處于動(dòng)態(tài)環(huán)境中，有時(shí)候需要在桌子、沙發(fā)等家具的下面執(zhí)行清理任務(wù)，有時(shí)候需要去衛(wèi)生間執(zhí)行清理任務(wù)，處于不同的位置掃地機(jī)器人的環(huán)境參數(shù)變化較大，因此，本文設(shè)置了判斷光線強(qiáng)度的步驟，根據(jù)不同的光線強(qiáng)度控制執(zhí)行不同的寵物糞便識(shí)別流程。

步驟3：如圖3 所示，為強(qiáng)光線環(huán)境下控制策略流程圖。攝像頭采集掃地機(jī)器人行進(jìn)路線前方的圖像，傳輸給圖像識(shí)別模塊，其儲(chǔ)存有卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）的圖像識(shí)別模型，可用于識(shí)別圖像中是否具有寵物糞便[6～7]；氣體傳感器采集環(huán)境中的氣體信息，當(dāng)任一個(gè)傳感器采集的氣體含量大于對(duì)應(yīng)的預(yù)設(shè)的氣體含量閾值，則氣體識(shí)別模塊就輸出存在寵物糞便的結(jié)果。然后進(jìn)入步驟3。

圖3 強(qiáng)光線環(huán)境下控制策略流程圖

當(dāng)掃地機(jī)器人處于具有較高光照強(qiáng)度的環(huán)境中時(shí)，集成在其上的攝像頭能夠采集到清晰的圖像數(shù)據(jù)，可精確地識(shí)別出行進(jìn)路線的前方區(qū)域是否存在寵物糞便。

在實(shí)驗(yàn)中，設(shè)置具有寵物糞便的環(huán)境與無(wú)糞便環(huán)境，然后利用氣體傳感器對(duì)環(huán)境中氣體含量進(jìn)行檢測(cè)，根據(jù)檢測(cè)的各氣體含量結(jié)果設(shè)置對(duì)應(yīng)氣體的預(yù)設(shè)的氣體含量閾值。

氣體識(shí)別模塊對(duì)所述氣體信息進(jìn)行識(shí)別，判斷是否存在寵物糞便具體過(guò)程為：若所述氨氣傳感器、所述硫化氫傳感器、所述甲烷傳感器中任一個(gè)傳感器采集的氣體含量大于對(duì)應(yīng)的預(yù)設(shè)的氣體含量閾值，則所述氣體識(shí)別模塊就輸出存在寵物糞便的結(jié)果。舉例來(lái)說(shuō)，設(shè)定判定存在寵物糞便的氨氣傳感器檢測(cè)的氨氣含量閾值為a，設(shè)定判定存在寵物糞便的硫化氫傳感器檢測(cè)的硫化氫含量閾值為b，設(shè)定判定存在寵物糞便的甲烷傳感器檢測(cè)的甲烷含量閾值為c，此時(shí)，氨氣傳感器檢測(cè)的氣體含量為a1，硫化氫傳感器檢測(cè)的氣體含量為b1，甲烷傳感器檢測(cè)的氣體含量為c1，若a1 ＞a，b1 ＜b，c1

步驟4：處理器判斷圖像識(shí)別模塊輸出的結(jié)果與氣體識(shí)別模塊輸出的結(jié)果是否相同，若相同且均未存在糞便，則確認(rèn)存在寵物糞便，控制糞便清理模塊清理寵物糞便，如不同，進(jìn)入步驟6。

由于風(fēng)向?qū)怏w的影響以及氣體傳感器靈敏度對(duì)檢測(cè)結(jié)果存在影響等原因，設(shè)置了圖像識(shí)別結(jié)果以及氣體識(shí)別結(jié)果雙結(jié)果驗(yàn)證的過(guò)程，因此，在具有圖像識(shí)別結(jié)果時(shí)，本文設(shè)置了上述三種傳感器任一個(gè)傳感器檢測(cè)出糞便氣體超標(biāo)，即認(rèn)定為存在寵物糞便，這樣，可大大減少圖像識(shí)別結(jié)合和氣體識(shí)別結(jié)果不同的情況，有助于最終結(jié)果的確認(rèn)。

步驟5：如圖4 所示，為弱光線環(huán)境下控制策略流程圖，氣體傳感器采集空氣中的NH3、HS、CH4氣體含量；氣體識(shí)別模塊根據(jù)三種氣體含量判斷是否存在寵物糞便；若存在寵物糞便，則控制糞便清理模塊清理寵物糞便；若不存在，則掃地機(jī)器人沿預(yù)設(shè)路線前進(jìn)[8]，執(zhí)行步驟1；若調(diào)整方向檢測(cè)后有一種或兩種超過(guò)閾值，執(zhí)行步驟6。

圖4 弱光線環(huán)境下控制策略流程圖

氣體識(shí)別模塊判斷三種氣體含量是否均超過(guò)閾值；若均超過(guò)閾值，則輸出存在寵物糞便的結(jié)論；若均不超過(guò)閾值，則輸出不存在寵物糞便的結(jié)論；若三種氣體中有一種或兩種超過(guò)閾值，為了避免因風(fēng)向?qū)怏w傳感器模塊的影響，則機(jī)器人移動(dòng)至與原始位置成一定范圍角度的位置，再進(jìn)行檢測(cè)。具體移動(dòng)的位置可以為一個(gè)范圍，以掃地機(jī)器人前方1m 的點(diǎn)為圓心，以1m 為半徑做圓周運(yùn)動(dòng)，移動(dòng)90°～270°范圍內(nèi)的區(qū)間的點(diǎn)。

步驟6：將掃地機(jī)器人的行進(jìn)方向的區(qū)域設(shè)置為臨時(shí)禁區(qū)，掃地機(jī)器人轉(zhuǎn)向繼續(xù)執(zhí)行清潔任務(wù)。

圖像識(shí)別模塊和氣體識(shí)別模塊輸出的結(jié)果不同時(shí)，將圖像以及氣體數(shù)據(jù)傳送到用戶手機(jī)的APP 中，供用戶進(jìn)行人工認(rèn)定，由于這個(gè)過(guò)程需要一定時(shí)間，因此，可通過(guò)設(shè)置臨時(shí)禁區(qū)的形式，使掃地機(jī)器人暫時(shí)先不進(jìn)入上述區(qū)域，待用戶確認(rèn)后再行處理上述區(qū)域，以避免將寵物糞便掃到滿屋的情況。

3 結(jié)果分析

參考CIE 國(guó)際發(fā)光照明委員會(huì)標(biāo)準(zhǔn)《室內(nèi)工作場(chǎng)所照明》S008/E--2001 的分級(jí)標(biāo)準(zhǔn)，將環(huán)境光線強(qiáng)度分別設(shè)置為5Lux，10Lux，20Lux，30Lux，50Lux，100Lux，將光照強(qiáng)度大于等于30 Lux 設(shè)置為強(qiáng)光線環(huán)境，設(shè)定判定存在寵物糞便的氣體傳感器檢測(cè)的氨氣含量閾值a 為0.3ppm，硫化氫含量閾值b 為0.2ppm，甲烷含量閾值c 為1.8 ppm，通過(guò)實(shí)驗(yàn)，驗(yàn)證結(jié)果如表1 所示。

表1 不同光照強(qiáng)度下識(shí)別策略比對(duì)

通過(guò)分析，本文提出的方法較常用的寵物糞便識(shí)別處理方法，識(shí)別正確率有大幅度提高，統(tǒng)計(jì)分析，識(shí)別正確率可達(dá)95%以上，可以極大提升用戶的使用體驗(yàn)。

4 結(jié)論

本文針對(duì)寵物糞便清理這一需求設(shè)計(jì)的掃地機(jī)器人控制策略，采用基于圖像和氣體識(shí)別相融合的方法，根據(jù)工作環(huán)境光線強(qiáng)度不同，采用不同的識(shí)別策略，強(qiáng)光環(huán)境采用圖像與氣體識(shí)別相結(jié)合識(shí)別，弱光環(huán)境僅采用氣體識(shí)別，寵物糞便識(shí)別的準(zhǔn)確率可以大幅度提高。并且在通過(guò)氣體識(shí)別寵物糞便時(shí)，在僅識(shí)別出一種或兩種氣體時(shí)，考慮風(fēng)向影響，掃地機(jī)器人變換位置，在不同角度進(jìn)行檢測(cè)，進(jìn)一步提高了氣體識(shí)別的準(zhǔn)確率。