一種改進(jìn)的基于孿生卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法

任珈民,宮寧生,韓鎮(zhèn)陽

(南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京 211816)

1 引 言

目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)領(lǐng)域的一項(xiàng)重要研究課題,在生活中也有廣泛應(yīng)用,如智能監(jiān)控、視頻分析、體感游戲等.目標(biāo)跟蹤通過在連續(xù)視頻序列中估計(jì)跟蹤目標(biāo)狀態(tài),確定目標(biāo)運(yùn)動(dòng)軌跡等信息,實(shí)現(xiàn)對跟蹤目標(biāo)的理解與分析[1].目標(biāo)跟蹤的難點(diǎn)主要有目標(biāo)的外觀變化或目標(biāo)的快速移動(dòng)等內(nèi)部因素以及光照或遮擋等外部環(huán)境的影響等等.近年來,研究人員對此展開大量研究,提出了諸多算法,總體可以分為生成式方法和判別式方法,其中生成式方法運(yùn)用生成模型來描述目標(biāo)的表觀特征,之后通過搜索候選目標(biāo)來最小化重構(gòu)誤差,該方法一般采用傳統(tǒng)機(jī)器學(xué)習(xí)算法,如CT[2]、STC[3]等等,可是一旦目標(biāo)外觀有較顯著的變化,跟蹤結(jié)果就會(huì)產(chǎn)生漂移,同時(shí)傳統(tǒng)機(jī)器學(xué)習(xí)算法往往也存在特征提取不明顯,跟蹤效果不精確等問題;判別式方法一般通過訓(xùn)練分類器來區(qū)分目標(biāo)和背景,該方法魯棒性好,目前與深度學(xué)習(xí)相結(jié)合,取得了很好的效果.具體操作是利用深度學(xué)習(xí)構(gòu)建一個(gè)跟蹤模型,通過神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力和分類識別能力,進(jìn)行精確跟蹤,如FCNT[4]、MDNet[5]等.但這類模型存在兩點(diǎn)不足:一是在線跟蹤網(wǎng)絡(luò)需要實(shí)時(shí)更新,因此在利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行在線跟蹤時(shí)存在網(wǎng)絡(luò)更新不及時(shí)的問題,雖然利用更強(qiáng)大的深度特征進(jìn)行實(shí)時(shí)跟蹤也能解決該問題,但由于領(lǐng)域特定的細(xì)節(jié)未能使用,故性能往往得不到保障;二是由于待跟蹤視頻通常只給出第一幀圖像,因此網(wǎng)絡(luò)的訓(xùn)練樣本往往十分缺乏,而利用前一幀的跟蹤結(jié)果作為后一幀的跟蹤依據(jù)則會(huì)產(chǎn)生累進(jìn)誤差,使跟蹤結(jié)果不精確.

本文在深度學(xué)習(xí)框架的基礎(chǔ)上,考慮到以上兩點(diǎn)不足之處,故采用孿生卷積神經(jīng)網(wǎng)絡(luò)架構(gòu).利用模板分支保存先驗(yàn)信息,同時(shí)通過檢測分支完成對待檢測幀的特征提取,進(jìn)行實(shí)時(shí)的比對和跟蹤.這不僅解決了模型更新不及時(shí)的問題,而且由于使用的是模板圖像作為訓(xùn)練參數(shù),從而能隱式地解決跟蹤誤差逐漸增大的問題.

2 相關(guān)工作

孿生卷積神經(jīng)網(wǎng)絡(luò)含有兩個(gè)相同的子結(jié)構(gòu),二者共享參數(shù)和權(quán)重,工作原理主要是利用多層卷積獲得特征圖后,再判斷圖像之間的相似性.該網(wǎng)絡(luò)在單樣本學(xué)習(xí)上表現(xiàn)優(yōu)異,恰好能解決目標(biāo)跟蹤中訓(xùn)練樣本不足的問題,且跟蹤實(shí)時(shí)性更高,但其跟蹤準(zhǔn)確率有待提升.

為了更好地提取特征來提高跟蹤準(zhǔn)確率,文獻(xiàn)[6]引入注意力機(jī)制,通過堆積注意力模型,生成一個(gè)注意力感知特征,不同模塊的感知特征能夠根據(jù)層數(shù)自適應(yīng)地改變,從而提升特征的表達(dá)能力.而由Hu J等人提出的SE-Network子結(jié)構(gòu)[7],則是通過對圖像各通道之間的相關(guān)性進(jìn)行建模,增強(qiáng)有效通道的特征,提高特征辨別力.該結(jié)構(gòu)兼具泛化性和具象性,泛化性指在較低的卷積層上,可以學(xué)習(xí)去激勵(lì)可信息化的特征,加強(qiáng)較低層次表征信息的共享質(zhì)量;而具象性指在較高的卷積層上,其對不同輸入具有高度的類別響應(yīng).因此,利用低層的激勵(lì)學(xué)習(xí),可以進(jìn)一步提取有效特征;而利用高層的類別響應(yīng),可以進(jìn)行目標(biāo)的分類與識別.

CNNSVM[8]采用了大規(guī)模數(shù)據(jù)集,預(yù)先訓(xùn)練出卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征提取,再利用支持向量機(jī)作為分類器對跟蹤目標(biāo)的前景和背景進(jìn)行分類,達(dá)到較好的跟蹤效果.與CNNSVM方法不同,由Faster RCNN[9]提出的區(qū)域推薦網(wǎng)絡(luò)(RPN)將文獻(xiàn)[10,11]中的方法整合到一個(gè)網(wǎng)絡(luò),利用anchor機(jī)制和邊框回歸機(jī)制區(qū)分目標(biāo)與背景.網(wǎng)絡(luò)先利用anchor機(jī)制獲得所有待篩選的目標(biāo)(包括正例和負(fù)例),再利用損失函數(shù)及設(shè)定的重合度閾值對目標(biāo)進(jìn)行大致定位,篩選出目標(biāo)區(qū)域;然后對比網(wǎng)絡(luò)輸出結(jié)果和真實(shí)目標(biāo)的差距,如果差距小于某一設(shè)定的閾值,則利用邊框回歸機(jī)制進(jìn)行線性微調(diào).相比較而言,RPN由于添加了邊框回歸機(jī)制,其跟蹤效果會(huì)更加精確.文獻(xiàn)[12]將孿生卷積神經(jīng)網(wǎng)絡(luò)與RPN結(jié)合,提升了跟蹤的效果.本文在SiamRPN網(wǎng)絡(luò)結(jié)構(gòu)上,將SE-Network加入到特征提取網(wǎng)絡(luò)的卷積層,進(jìn)一步提高網(wǎng)絡(luò)表達(dá)能力和跟蹤效果.

3 基于孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤模型

3.1 網(wǎng)絡(luò)模型構(gòu)建

本文構(gòu)建如圖1所示的網(wǎng)絡(luò)結(jié)構(gòu).

圖1 網(wǎng)絡(luò)總體結(jié)構(gòu)Fig.1 Network architecture

如圖1所示,該網(wǎng)絡(luò)結(jié)構(gòu)分為前后兩部分,前半部分是孿生卷積神經(jīng)網(wǎng)絡(luò)的特征提取模塊,進(jìn)一步可以劃分上支為模板分支,下支為檢測分支,網(wǎng)絡(luò)的訓(xùn)練主要是通過端對端的方式進(jìn)行線下的圖片訓(xùn)練.考慮到網(wǎng)絡(luò)沒有預(yù)先定義分類,即沒有先驗(yàn)信息作為跟蹤依據(jù),所以本文將模板分支的輸出結(jié)果作為一種訓(xùn)練參數(shù),保存先驗(yàn)信息,然后通過與檢測分支輸出的特征圖進(jìn)行卷積,將其編碼進(jìn)RPN特征圖來區(qū)分前景和背景,從而預(yù)測目標(biāo)位置.實(shí)際上,模板分支主要是為了利用先驗(yàn)信息來加快檢測速度的.

具體地,本文將特征提取模塊兩個(gè)分支中的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改為SE-CNN模塊,使得該模塊能夠綜合利用圖像的空間信息和通道信息來增強(qiáng)特征圖的表達(dá)能力.后半部分是區(qū)域推薦網(wǎng)絡(luò)(RPN)模塊,該模塊分為分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò).首先利用anchor機(jī)制搜索卷積后特征圖內(nèi)的目標(biāo)區(qū)域,同時(shí)使用softmax損失函數(shù)對網(wǎng)絡(luò)進(jìn)行優(yōu)化,并通過計(jì)算目標(biāo)區(qū)域與真實(shí)區(qū)域的重合面積來區(qū)分正例(即候選目標(biāo)區(qū)域)和負(fù)例(即背景區(qū)域);然后將分類得到的正例輸入回歸網(wǎng)絡(luò),根據(jù)與真實(shí)邊框的差距大小,對候選目標(biāo)進(jìn)行排序,選擇差距最小的候選目標(biāo)區(qū)域進(jìn)行線性微調(diào),最終輸出跟蹤結(jié)果.

3.2 改進(jìn)之處

在原網(wǎng)絡(luò)結(jié)構(gòu)中,孿生卷積神經(jīng)網(wǎng)絡(luò)的特征提取部分采用的是AlexNet[13]結(jié)構(gòu),同時(shí)去掉了卷積層的第2層和第4層[12].故在結(jié)構(gòu)上,原特征提取網(wǎng)絡(luò)由3個(gè)卷積層和3個(gè)全連接層組成,前三個(gè)卷積核的大小分別為11×11、5×5和3×3,且前兩個(gè)卷積層的池化步長為2,后一個(gè)卷積層的池化步長為1,然后接3個(gè)全連接層進(jìn)行通道數(shù)的調(diào)整.經(jīng)過一系列卷積核卷積,Relu函數(shù)激活,池化等操作,將3通道的原始圖像變?yōu)?56通道的特征圖.最終特征提取網(wǎng)絡(luò)通過多層卷積提取圖像的空間信息特征,利用模板分支保存訓(xùn)練參數(shù),并與檢測分支輸出的特征圖進(jìn)行卷積,將模板參數(shù)編碼進(jìn)待檢特征圖,然后輸入?yún)^(qū)域推薦網(wǎng)絡(luò)中進(jìn)行后續(xù)的目標(biāo)定位和范圍框選.

圖2 SE-Network子模塊Fig.2 Submodule of SE-Network

本文在原網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,將SE-Network加入到特征提取網(wǎng)絡(luò)中.主要操作是將該網(wǎng)絡(luò)結(jié)構(gòu)添加到每個(gè)卷積層之后,構(gòu)成SE-CNN結(jié)構(gòu).實(shí)際上,該結(jié)構(gòu)的加入并未改變原有特征提取網(wǎng)絡(luò)的卷積層數(shù)和輸出層的通道數(shù),而是在卷積層之間加入一個(gè)分支結(jié)構(gòu),對圖像進(jìn)行有效通道層面的強(qiáng)化,這樣使得輸入的圖像幀不僅考慮空間上的特征信息,而且利用通道相關(guān)性進(jìn)一步強(qiáng)化提取的有效特征.該結(jié)構(gòu)的子模塊如圖2所示.

SE-Net網(wǎng)絡(luò)的模型示意圖如圖2(a)所示，具體的方法及流程如圖2(b)所示.如果設(shè)輸入的圖像幀尺寸為X∈RW′×H′×C′，通過卷積操作生成特征圖U∈RW×H×C，如公式(1)所示:

(1)

其中vc表示卷積核，uc表示特征圖在通道C處的感受野.

然后在全局平均池化層對圖像尺寸進(jìn)行降維，把每個(gè)二維特征通道變?yōu)橐粋€(gè)實(shí)數(shù)，如公式(2)所示:

(2)

在獲取通道信息后，需要保留有效通道并去除無效通道，而利用“瓶頸”結(jié)構(gòu)(全連接層1—Relu激活函數(shù)—全連接層2)的目的是在處理數(shù)據(jù)時(shí)能夠降低計(jì)算量.最后利用Sigmoid函數(shù)賦予權(quán)重，如公式(3)所示:

s=Fex(Z,W)=σ(W2δ(W1Z))

(3)

式中，Z表示上一步操作的結(jié)果，W1和W2分別表示兩個(gè)全連接層的參數(shù)，δ(·)和σ(·)表示Relu函數(shù)和Sigmoid函數(shù).這一步得到的結(jié)果為不同通道對應(yīng)的權(quán)重值，設(shè)其為ωi(i=1,2,3,4,5).

最后將輸出的權(quán)重以加權(quán)的方式在原圖上進(jìn)行重標(biāo)定，如公式(4)所示:

(4)

其中sc是一個(gè)數(shù)，相當(dāng)于權(quán)重.通過這種方式，網(wǎng)絡(luò)可以強(qiáng)化有效通道，提高特征圖的表征能力.

3.3 跟蹤策略

在特征提取后，本文利用區(qū)域推薦網(wǎng)絡(luò)進(jìn)行目標(biāo)定位和邊框微調(diào).該部分首先利用anchor機(jī)制在特征圖上根據(jù)每個(gè)特征點(diǎn)生成k個(gè)邊框，之后用softmax損失函數(shù)來優(yōu)化分類層，并通過計(jì)算目標(biāo)區(qū)域與真實(shí)邊框的重合面積Scoi來區(qū)分正例M+和負(fù)例M-，設(shè)閾值為δ，若Scoi>δ，則判定為正例，否則為負(fù)例.

對于正例M+，設(shè)候選目標(biāo)邊框和真實(shí)邊框?yàn)锳和G，將A經(jīng)映射f得到的一個(gè)與G更接近的回歸窗口設(shè)為G′.則目標(biāo)函數(shù)可利用公式(5)獲得.

(5)

定義公式(6)為:

(6)

(7)

其中λ為超參數(shù).最后將預(yù)測的輸出結(jié)果A調(diào)整為G′，如公式(8)所示:

(8)

該操作的最終目的是使得目標(biāo)邊框和真實(shí)邊框更接近.

另外,在進(jìn)行實(shí)際目標(biāo)跟蹤時(shí),為去除冗余邊框,使處理過程更快速,在選擇邊框時(shí),本文加入了相應(yīng)的篩選條件:

1)在區(qū)分特征圖中的前景目標(biāo)和背景區(qū)域時(shí),根據(jù)真實(shí)邊框的位置,將面積為g×g的區(qū)域(略大于真實(shí)邊框范圍,但小于總特征圖的面積)設(shè)定為分類特征區(qū)域,從而去除距離真實(shí)邊框較遠(yuǎn)的候選目標(biāo)區(qū)域,提高篩選的效率和精確度.

2)在選擇用于線性回歸的邊框時(shí),由于與真實(shí)邊框差距較大的候選目標(biāo)邊框不滿足線性回歸的要求,因此考慮先將所有候選的目標(biāo)邊框根據(jù)與真實(shí)邊框的差值大小進(jìn)行排序,再選擇差值最小的目標(biāo)邊框進(jìn)行線性微調(diào).

3.4 算法流程

本文的目標(biāo)跟蹤算法主要分為對孿生卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和目標(biāo)跟蹤兩個(gè)部分.

圖3 算法流程圖Fig.3 Algorithm flow chart

如圖3所示,首先用訓(xùn)練數(shù)據(jù)集對孿生卷積神經(jīng)網(wǎng)絡(luò)的特征提取部分進(jìn)行端對端的線下圖片訓(xùn)練,再將測試集輸入網(wǎng)絡(luò)中進(jìn)行特征提取.然后將兩個(gè)分支輸出的特征圖卷積后輸入到區(qū)域推薦網(wǎng)絡(luò)中進(jìn)行定位和微調(diào).在定位階段,首先設(shè)定某一個(gè)子特征區(qū)域,去除距離真實(shí)邊框過遠(yuǎn)的噪聲目標(biāo),并計(jì)算該子特征區(qū)域內(nèi)的候選目標(biāo)與真實(shí)邊框的重合面積,再設(shè)定閾值,區(qū)分前景和背景.然后計(jì)算所有篩選出的正例與真實(shí)邊框的差值,若差值小于閾值,則再對滿足要求的候選邊框根據(jù)差值大小進(jìn)行排序,并選擇差值最小的那個(gè)邊框,進(jìn)行線性邊框微調(diào),最終輸出檢測結(jié)果.

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)說明

本文采用OTB2015[14]數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,該數(shù)據(jù)集包含100個(gè)視頻序列,共58897幀圖像,視頻的采集綜合考慮了光照、遮擋、模糊等不同因素的影響.本文采用5折交叉驗(yàn)證法,其中4折作為訓(xùn)練集,1折作為測試集.

實(shí)驗(yàn)使用預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)初始化特征提取網(wǎng)絡(luò),并用隨機(jī)梯度下降法(SGD)進(jìn)行優(yōu)化,學(xué)習(xí)率為0.001,迭代次數(shù)為100.實(shí)驗(yàn)環(huán)境為64位操作系統(tǒng),內(nèi)存16GB,CPU為4核4.2GHz Intel I7.

4.2 實(shí)驗(yàn)結(jié)果分析

為了更全面地評估本算法的跟蹤效果,本文使用平均覆蓋率和一次評估(OPE)方法作為跟蹤效果的評價(jià)指標(biāo).平均覆蓋率的計(jì)算如公式(9)所示.

(9)

其中ST和SG分別表示算法的跟蹤結(jié)果區(qū)域和目標(biāo)準(zhǔn)確區(qū)域；∩和∪表示交集與并集運(yùn)算，|·|表示計(jì)算圖像區(qū)域內(nèi)包含像素點(diǎn)的個(gè)數(shù)；number指序列的總幀數(shù).通過對數(shù)據(jù)集的取樣、分類與實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如表1所示.

表1 不同算法的平均覆蓋率(%)
Table 1 Average coverage of different algorithms(%)

算法折數(shù)12345均值TLD52.454.453.955.151.353.4CNN57.658.559.157.356.857.9SiamR-PN67.867.568.264.361.265.8Ours68.268.168.865.662.466.6

從表1可以看出,TLD[15]使用傳統(tǒng)機(jī)器學(xué)習(xí)的方法進(jìn)行目標(biāo)跟蹤,其平均覆蓋率較低,僅有53.4%;而CNN雖然利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取,但由于沒有考慮邊框調(diào)整問題,所以平均覆蓋率有所提升,但仍舊不高,為57.9%;而文獻(xiàn)[13]所提出的SiamRPN網(wǎng)絡(luò)利用改進(jìn)后的AlexNet作為特征提取網(wǎng)絡(luò),并加入了邊框回歸機(jī)制,因此其跟蹤效果較前兩個(gè)算法有很大的提升,平均覆蓋率為65.8%.本算法在SiamRPN結(jié)構(gòu)的基礎(chǔ)上進(jìn)行改進(jìn),加入SE-Net,提升了特征提取網(wǎng)絡(luò)中通道的表達(dá)能力;同時(shí)利用RPN網(wǎng)絡(luò)的目標(biāo)定位及邊框調(diào)整機(jī)制,所以其平均覆蓋率較原網(wǎng)絡(luò)有了一定的提升,平均覆蓋率為66.6%.

一次評估(OPE)方法主要考慮中心位置誤差和重疊率兩方面的因素,以此為依據(jù)分別得到準(zhǔn)確率圖和成功率圖.本文比較了本算法和其他不同算法的結(jié)果,利用Matlab繪制圖像.如圖4所示,FCNT和CNNSVM在目標(biāo)定位上與本算法相差不大,但在范圍的匹配上,由于本算法加入了RPN網(wǎng)絡(luò),因此效果更好;而對于SiamRPN,雖然其定位準(zhǔn)確度及配準(zhǔn)成功率和本算法很接近,但由于本算法加入了SE-Net加強(qiáng)特征提取,故最終的結(jié)果要更好一些.不過KCF[16]、Struck[17]、CXT[18]、IVT[19]、MIL[20]等傳統(tǒng)機(jī)器學(xué)習(xí)算法在這兩方面的表現(xiàn)均與本算法相差較大.總的來說,本算法的跟蹤效果更好.

為了更直觀地比較跟蹤效果,本文將各算法在序列dog1部分幀上的跟蹤效果繪制成如圖5所示的圖像.從第303幀中可以看出,使用SiamRPN框架基本能框定目標(biāo);部分使用深度學(xué)習(xí)框架的算法,如FCNT和CNNSVM,雖然在定位上基本精確,但不能很好地進(jìn)行范圍框定;此外,利用相關(guān)濾波器進(jìn)行目標(biāo)跟蹤的KCF算法,其定位較真實(shí)邊框偏左上角,且所框選的范圍也較小;而使用傳統(tǒng)機(jī)器學(xué)習(xí)的算法,如Struck、TLD和IVT等等,在定位和配準(zhǔn)上都有一定誤差,可以看出目標(biāo)定位偏右下角且距離真實(shí)邊框有更多的偏移,目標(biāo)范圍也未完全框定.在第1006幀中,由于目標(biāo)較原圖更加清晰可辨,故除了CT外,其余各算法都能較好地進(jìn)行定位,但在范圍框定方面,機(jī)器學(xué)習(xí)算法框定的范圍明顯不夠,而SiamRPN、FCNT和CNNSVM的邊框大小也和真實(shí)邊框有一定差距.同樣,在第1302幀中,上述這些算法在兩方面的表現(xiàn)上也都存在一定的問題.

圖4 OPE結(jié)果示意圖Fig.4 Results of OPE

圖5 不同算法跟蹤效果Fig.5 Tracking results of different algorithms

本算法在孿生神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上利用SE-Net提升特征表達(dá)能力綜合考慮空間信息和通道信息兩方面的特征,使網(wǎng)絡(luò)的表達(dá)能力更強(qiáng);并加入?yún)^(qū)域推薦網(wǎng)絡(luò)RPN,使得目標(biāo)定位和范圍框選更加精確.最終根據(jù)仿真實(shí)驗(yàn)結(jié)果以及與其它算法的對比,可知本算法在目標(biāo)定位和范圍框定上更精準(zhǔn).

5 總結(jié)與展望

本文利用孿生卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)架構(gòu),不僅能夠?qū)崟r(shí)地進(jìn)行圖像比對與目標(biāo)跟蹤,而且預(yù)先利用模板分支保存先驗(yàn)知識,可以減少跟蹤過程中誤差的增加.同時(shí)在特征提取部分加入SE-Net,綜合考慮圖像的空間信息和通道信息,增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力.在目標(biāo)定位階段,本算法通過區(qū)域推薦網(wǎng)絡(luò),利用anchor機(jī)制和邊框回歸機(jī)制區(qū)分特征圖中的目標(biāo)和前景,并對輸出結(jié)果進(jìn)行線性微調(diào),使跟蹤結(jié)果更加準(zhǔn)確.相較于之前的方法,該算法解決了網(wǎng)絡(luò)模型更新不及時(shí)和訓(xùn)練數(shù)據(jù)集不足的問題,同時(shí)保證了跟蹤的準(zhǔn)確率.實(shí)驗(yàn)結(jié)果也表明該網(wǎng)絡(luò)在單目標(biāo)跟蹤中取得了很好的效果.不過由表1可知,幾種算法在第5折上的平均覆蓋率都很低,經(jīng)檢驗(yàn)發(fā)現(xiàn)第5折數(shù)據(jù)集中遮擋和模糊的視頻樣本幀較多,針對這一問題的改進(jìn),是之后需要研究的地方.而且若是考慮到多目標(biāo)的視頻跟蹤,由于其跟蹤原理與單目標(biāo)跟蹤有較大的差別,因此對于多目標(biāo)跟蹤領(lǐng)域,也還需要做進(jìn)一步的研究.