基于視覺(jué)識(shí)別的視頻跟拍系統(tǒng)

廣東省機(jī)械高級(jí)技工學(xué)校 黃誠(chéng)壬

?

基于視覺(jué)識(shí)別的視頻跟拍系統(tǒng)

廣東省機(jī)械高級(jí)技工學(xué)校 黃誠(chéng)壬

【摘要】在互聯(lián)網(wǎng)時(shí)代，隨著多媒體的推廣應(yīng)用，利用實(shí)時(shí)視頻進(jìn)行展示的場(chǎng)合越來(lái)越多。本文針對(duì)利用實(shí)時(shí)視頻進(jìn)行展示過(guò)程中拍攝技術(shù)要求高，費(fèi)時(shí)費(fèi)力，拍攝和展示效果差等問(wèn)題，研制出基于視覺(jué)識(shí)別的視頻跟拍系統(tǒng)。該系統(tǒng)可以智能跟隨拍攝對(duì)象移動(dòng)實(shí)現(xiàn)穩(wěn)定視頻拍攝，根據(jù)手勢(shì)進(jìn)行拉近和推遠(yuǎn)拍攝視頻，根據(jù)手勢(shì)拍攝特寫(xiě)圖，還可以根據(jù)現(xiàn)場(chǎng)光線自動(dòng)調(diào)節(jié)拍攝燈光亮度。借助該跟拍系統(tǒng)，展示者可以專心于展示而不用分心分力于拍攝，哪怕完全不懂拍攝技術(shù)，也可以呈現(xiàn)出滿意的展示視頻。

【關(guān)鍵詞】視覺(jué)識(shí)別；自動(dòng)跟拍；視頻拍攝

1　前言

在互聯(lián)網(wǎng)和多媒體成為主要展示載體的當(dāng)下，利用實(shí)時(shí)視頻進(jìn)行展示的場(chǎng)合越來(lái)越多。尤為突出的是企業(yè)的產(chǎn)品展示，學(xué)校的一體化教學(xué)的操作展示。以往的做法就是事先錄制展示的視頻，展示的時(shí)候再通過(guò)多媒體播放出來(lái)。這樣可以事先對(duì)視頻進(jìn)行處理，可以達(dá)到較好的展示效果。但是必須花費(fèi)大量的時(shí)間提前錄制和視頻處理，更加無(wú)法做到實(shí)時(shí)與互動(dòng)。

在“互聯(lián)網(wǎng)+”的互聯(lián)網(wǎng)新思維與“工業(yè)4.0”工業(yè)發(fā)展新思潮推動(dòng)下，學(xué)校購(gòu)進(jìn)了大批多媒體設(shè)備：每個(gè)實(shí)訓(xùn)室配置兩臺(tái)大電視，一臺(tái)投影儀，一臺(tái)演示展臺(tái)。還把實(shí)訓(xùn)室與理論課室接通了互聯(lián)網(wǎng)，實(shí)現(xiàn)了課室可以實(shí)時(shí)通過(guò)電視觀看實(shí)訓(xùn)車間的操作。實(shí)訓(xùn)操作通過(guò)視頻展示可以大大提高課堂效率，但主流做法只是用于播放動(dòng)畫(huà)或相關(guān)視頻。主要原因是視頻實(shí)時(shí)拍攝技術(shù)要求高，還需要專人拍攝及調(diào)整，所以往往拍攝展示效果差，達(dá)不到實(shí)訓(xùn)操作展示目的。

結(jié)合一體化教學(xué)實(shí)訓(xùn)內(nèi)容展示要求，最大化實(shí)現(xiàn)所有多媒體設(shè)備功能，學(xué)校決定要對(duì)現(xiàn)有設(shè)備進(jìn)行升級(jí)改造，要求輕松實(shí)現(xiàn)實(shí)時(shí)視頻展示功能，把一體化實(shí)訓(xùn)視頻展示提升到一定高度，以彌補(bǔ)大班教學(xué)實(shí)訓(xùn)操作展示不足的通病。

2　制定設(shè)計(jì)方案

根據(jù)改造要求制定設(shè)計(jì)方案。設(shè)計(jì)一款實(shí)時(shí)視頻跟拍系統(tǒng)，解決拍攝技術(shù)要求高，需要專人跟拍的難題。

方案一：采用機(jī)械導(dǎo)軌實(shí)現(xiàn)人工視頻跟拍。這個(gè)方案實(shí)現(xiàn)較簡(jiǎn)單，無(wú)需任何電氣線路輔助，只需要鋪設(shè)運(yùn)動(dòng)導(dǎo)軌就可以實(shí)現(xiàn)。由于拍攝設(shè)備是在固定軌道上平行移動(dòng)，大大降低了拍攝技術(shù)要求，只需要安排一個(gè)人配合講解員進(jìn)行拍攝就可以實(shí)現(xiàn)實(shí)時(shí)視頻跟拍。

方案二：采用導(dǎo)軌加遙控器實(shí)現(xiàn)半自動(dòng)視頻跟拍。采用遙控器控制電機(jī)帶動(dòng)攝像頭移動(dòng)實(shí)現(xiàn)實(shí)時(shí)視頻跟拍。采用這個(gè)方案，實(shí)現(xiàn)技術(shù)較簡(jiǎn)單，實(shí)現(xiàn)成本較低。只需要紅外發(fā)送接收器、導(dǎo)軌、舵機(jī)以及單片機(jī)控制系統(tǒng)等常用電路就可以實(shí)現(xiàn)半自動(dòng)視頻跟拍功能。

方案三：采用導(dǎo)軌加智能控制實(shí)現(xiàn)全自動(dòng)視頻跟拍。采用智能控制技術(shù)實(shí)現(xiàn)全程視頻自動(dòng)智能跟拍。更省時(shí)省心省力，無(wú)需專人跟拍，無(wú)需要專業(yè)拍攝技術(shù)，就可以實(shí)現(xiàn)實(shí)時(shí)視頻跟拍、定焦、拍攝圖片以及放大或縮小拍攝等功能。

方案一成本較低，實(shí)現(xiàn)較簡(jiǎn)便，克服了定機(jī)位，顫抖等因素帶來(lái)的不良拍攝效果。但仍需要專人來(lái)負(fù)責(zé)拍攝，負(fù)責(zé)配合講解者的動(dòng)作及意圖。這無(wú)疑會(huì)增加展示工作量以及影響到拍攝效果。方案二在方案一的基礎(chǔ)上增加了遙控裝置，初步實(shí)現(xiàn)了半自動(dòng)化。講解員只需要根據(jù)展示的內(nèi)容一邊講解一邊使用遙控器操縱機(jī)器跟拍，無(wú)需要增加專門拍攝的人員，大大減少了工作量，也能達(dá)到一定的跟拍效果。但也存在很大的不便性，講解員不得不兼顧講解及調(diào)節(jié)拍攝效果。這無(wú)疑會(huì)讓講解員分神或不得不停下講解把拍攝設(shè)備遙控到位。另外隨著拍攝位置的變動(dòng)，又不得不時(shí)時(shí)人為調(diào)焦。即使使用了自動(dòng)變焦模式，如果移動(dòng)幅度過(guò)大，超過(guò)了機(jī)器拍攝范圍，還得人為調(diào)整拍攝效果。方案三智能化程度最高，完全實(shí)現(xiàn)全自動(dòng)智能拍攝，包括跟蹤拍攝，自動(dòng)縮放，自動(dòng)定焦，超越拍攝范圍自動(dòng)調(diào)節(jié)，自動(dòng)燈光以及拍照特寫(xiě)圖片等功能。完全無(wú)需講解者進(jìn)行任何管理及操作，就可以拍攝出比較專業(yè)的實(shí)時(shí)視頻。由于增加了智能化控制系統(tǒng)，增加了相關(guān)硬件及軟件開(kāi)發(fā)成本，方案三無(wú)疑是智能化最高，但成本也是三者中最高的。根據(jù)學(xué)校的要求以及成本預(yù)算，決定采用方案三，采用智能控制實(shí)現(xiàn)全自動(dòng)視頻跟拍。

3　系統(tǒng)原理和設(shè)計(jì)過(guò)程

智能實(shí)時(shí)視頻跟拍系統(tǒng)主要包括如下幾部分：運(yùn)動(dòng)導(dǎo)軌部分，運(yùn)動(dòng)控制部分，拍攝控制部分，智能控制部分。核心是智能控制部分。

運(yùn)動(dòng)導(dǎo)軌，分為實(shí)際軌道和虛擬軌道。實(shí)際軌道是有形軌道，拍攝設(shè)備只能沿著鋪設(shè)好的軌道行走。鋪設(shè)軌道前需要根據(jù)常用展示對(duì)象來(lái)設(shè)定軌道方位以及大小。虛擬軌道是無(wú)形軌道，主要通過(guò)無(wú)線傳感技術(shù)通過(guò)算法來(lái)約束拍攝設(shè)備行走路徑。根據(jù)引導(dǎo)源不同，可以分為光循跡，磁循跡，GPS導(dǎo)航等方式。這里考慮到安裝環(huán)境和保修的便捷性，采用有形軌道。結(jié)合一體化教學(xué)展示的場(chǎng)地和實(shí)際使用要求，采用懸掛機(jī)位鋪設(shè)方式。即在展示工作區(qū)上方鋪設(shè)橢圓運(yùn)動(dòng)軌道，軌道大小根據(jù)專業(yè)及展示物體大小而定。

運(yùn)動(dòng)控制，是指通過(guò)電機(jī)和傳動(dòng)機(jī)構(gòu)讓拍攝設(shè)備在運(yùn)動(dòng)軌道上運(yùn)行的控制機(jī)構(gòu)。雖然拍攝設(shè)備位置無(wú)需高精度定位，但是要克服跟拍過(guò)程中慣性的影響，這里采用直流電機(jī)和齒輪齒條來(lái)實(shí)現(xiàn)運(yùn)動(dòng)控制。運(yùn)動(dòng)控制主要包括：控制拍攝設(shè)備沿著橢圓軌道運(yùn)行，控制拍攝設(shè)備升降。

拍攝控制,是拍攝設(shè)備位置的微調(diào)控制。主要包括：攝影機(jī)左右旋轉(zhuǎn)，攝影機(jī)上下旋轉(zhuǎn)，攝影機(jī)前后伸縮。這些調(diào)控都屬于小范圍動(dòng)作，所以驅(qū)動(dòng)電機(jī)選擇舵機(jī)。

智能控制，是整個(gè)跟拍系統(tǒng)的核心部分。它包括兩方面功能：一方面通過(guò)傳感和運(yùn)算實(shí)現(xiàn)識(shí)別拍攝對(duì)象的移動(dòng)，從而控制拍攝設(shè)備移動(dòng)實(shí)現(xiàn)跟隨；另一方面通過(guò)控制拍攝功能實(shí)現(xiàn)自動(dòng)縮放，自動(dòng)定焦，超越拍攝范圍自動(dòng)調(diào)節(jié)，自動(dòng)燈光以及拍照特寫(xiě)圖片等相關(guān)動(dòng)作。

采用什么設(shè)備，采用何種算法，如何識(shí)別拍攝對(duì)象移動(dòng)？解決這一問(wèn)題成為實(shí)現(xiàn)跟拍系統(tǒng)功能的關(guān)鍵所在。常用的方法是采用超聲波測(cè)距實(shí)現(xiàn)跟拍。通過(guò)精密角度安裝超聲波發(fā)送和接收頭，不斷掃描測(cè)量距離，通過(guò)保持測(cè)量距離值一定范圍內(nèi)不變的方法實(shí)現(xiàn)跟拍功能。這種方法實(shí)現(xiàn)起來(lái)比較容易，算法容易實(shí)現(xiàn)。但是超聲波發(fā)送接收器的角度要求嚴(yán)格，聲波又容易受人體或其他障礙物干擾，對(duì)使用環(huán)境和使用者要求較嚴(yán)格。換句話說(shuō)，采用超聲波測(cè)距的方法實(shí)現(xiàn)視頻跟拍功能，很難保拍攝效果。

視覺(jué)識(shí)別，是最近才興起的新技術(shù)。它在智能時(shí)代可以稱得上機(jī)器的眼睛，可以代替?zhèn)鹘y(tǒng)傳感器的應(yīng)用，實(shí)現(xiàn)類似人腦及眼睛的功能。它被科學(xué)家稱為智能化時(shí)代以及工業(yè)4.0時(shí)代最具備時(shí)代標(biāo)志的創(chuàng)新技術(shù)。雖然由于種種原因高精度的視覺(jué)識(shí)別系統(tǒng)價(jià)格比較高，使用率和普及率不高，但是類似的識(shí)別技術(shù)圖片識(shí)別早已普遍運(yùn)用在各行各業(yè)。這些年形狀和顏色等方面的視覺(jué)識(shí)別在精度要求不高的場(chǎng)所也得到了推廣和應(yīng)用。實(shí)時(shí)視頻跟拍系統(tǒng)采用視覺(jué)識(shí)別作為控制依據(jù)是否可以實(shí)現(xiàn)？無(wú)需要高精度小尺度的識(shí)別效果，只需要識(shí)別展示過(guò)程中的指定形狀、顏色或固定姿態(tài)。采用視覺(jué)識(shí)別無(wú)需要安裝任何傳感器，只需要一個(gè)攝像頭就可以實(shí)現(xiàn)，安裝和調(diào)試要求大大降低。

視覺(jué)識(shí)別對(duì)系統(tǒng)的要求包括兩方面：一是擁有強(qiáng)大的運(yùn)算能力，二是具備較大的數(shù)據(jù)存儲(chǔ)空間。基于這兩點(diǎn)，視覺(jué)識(shí)別常常依靠計(jì)算機(jī)和軟件來(lái)實(shí)現(xiàn)。這里選用Raspberry Pi，在中國(guó)音譯為樹(shù)莓派。樹(shù)莓派是英國(guó)慈善組織為學(xué)生計(jì)算機(jī)編程教育而設(shè)計(jì)，只有信用卡大小的卡片式電腦，其系統(tǒng)基于Linux。樹(shù)莓派雖然外表“嬌小”，內(nèi)“心”卻很強(qiáng)大，它集成強(qiáng)大視頻、音頻功能，還配置HDMI高清視頻輸出接口。開(kāi)放式的開(kāi)發(fā)系統(tǒng)讓越來(lái)越多的其它應(yīng)用不斷被開(kāi)發(fā)出來(lái)。采用樹(shù)莓派作控制器，硬件方面：一個(gè)樹(shù)莓派主板，一個(gè)8G內(nèi)存卡，一個(gè)攝像頭，一條視頻連接線，一個(gè)7英寸的顯示屏。系統(tǒng)和軟件方面運(yùn)用到Linux嵌入式系統(tǒng)，需要編寫(xiě)實(shí)現(xiàn)這幾方面的功能：第一，手環(huán)的形狀和顏色視覺(jué)識(shí)別；第二，手勢(shì)的視覺(jué)識(shí)別；第三，攝影功能的控制；第四，直流電機(jī)和舵機(jī)的控制。和舵機(jī)實(shí)現(xiàn)位置跟隨，控制拍攝功能實(shí)現(xiàn)實(shí)時(shí)變焦和定焦。當(dāng)手環(huán)在一定活動(dòng)空間內(nèi)移動(dòng)或被阻礙消失的時(shí)候，攝影機(jī)不進(jìn)行位置調(diào)整和變焦動(dòng)作，有效保證了視頻的拍攝效果。這就是實(shí)時(shí)視頻智能跟拍功能，但是任何的機(jī)器智能程度都是有限的，為了解決智能跟拍過(guò)程中不盡人意的問(wèn)題，系統(tǒng)設(shè)計(jì)了手勢(shì)視覺(jué)識(shí)別功能。展示者可以通過(guò)幾組手勢(shì)來(lái)調(diào)整體拍攝設(shè)備的位置以及拉近和推遠(yuǎn)拍攝視頻，根據(jù)手勢(shì)拍攝特寫(xiě)圖（見(jiàn)圖1）等。

圖1　基于視覺(jué)識(shí)別的視頻跟拍系統(tǒng)結(jié)構(gòu)圖與控制框圖

4　系統(tǒng)安裝和調(diào)試

安裝方面主要是導(dǎo)軌的安裝需要根據(jù)展示對(duì)象來(lái)定，比如汽車專業(yè)展示汽車整車的拆裝，導(dǎo)軌安裝必須考慮到拍攝設(shè)備可以跟拍到各個(gè)位置。如果是機(jī)電專業(yè)進(jìn)行機(jī)床拆裝與維修展示，則需要根據(jù)機(jī)床的大小以及高度來(lái)選擇導(dǎo)軌。系統(tǒng)調(diào)試方面主要考慮到軟件編寫(xiě)與硬件運(yùn)動(dòng)位置的誤差，還要注意是否可以跟拍，手勢(shì)是否可以識(shí)別等方面。

參考文獻(xiàn)

[1]Sam Nazarko.樹(shù)莓派應(yīng)用速成：Raspbmc媒體中心[M].符鵬飛,譯.科學(xué)出版社,2014.5.

[2]王江偉,劉青.玩轉(zhuǎn)樹(shù)莓派Raspberry Pi[M].北京航天航空大學(xué)出版社,2013.9.