基于移動機器人的智能攝影軟件設(shè)計及實現(xiàn)

曾令遠(yuǎn)，吳東

（嶺南師范學(xué)院信息工程學(xué)院，湛江　524048）

基于移動機器人的智能攝影軟件設(shè)計及實現(xiàn)

曾令遠(yuǎn)，吳東

（嶺南師范學(xué)院信息工程學(xué)院，湛江524048）

設(shè)計并實現(xiàn)基于移動機器人的智能攝影軟件，旨在利用機器人的移動特性消除現(xiàn)有自拍機器人拍照位置固定所帶來的限制，進(jìn)一步增強拍照技術(shù)的智能化。簡單介紹軟件的總體設(shè)計，著重分析軟件需解決的關(guān)鍵問題及實現(xiàn)方法，并提出今后的研究重點。

智能攝影；人臉檢測；移動機器人

廣東大學(xué)生科技創(chuàng)新培育專項資金項目（No.pdjh2016b0310）

0　引言

隨著智能手機拍攝功能的增強和社交網(wǎng)絡(luò)的興起，人們越來越喜歡使用智能手機拍照留念，并發(fā)布到社交平臺中跟好友分享。這是一個全民自拍的時代，人們常常在工作、生活的空暇盡情自拍［1］。然而，遺憾的是，盡管智能手機的鏡頭像素再大、拍攝功能再強，拍照時都會受到手持的限制。大家在使用智能手機拍照時大多會遇到這樣的問題：由于手不夠長，鏡頭太近，拍出的臉很大；或是幾個人一起自拍時，會有人被無情的擠壓，留下歪斜的身影；特別是在獨自旅行時，若沒有旁人的幫忙，很難顧及人跟身后美景的協(xié)調(diào)。

于是，自拍桿應(yīng)運而生，它的使用相當(dāng)于延伸手臂長度，一定程度上緩解了以往自拍時碰到的問題。自拍桿由此而獲得廣大“拍友”的青睞，進(jìn)一步促進(jìn)自拍的風(fēng)靡。但是，使用自拍桿拍照時仍然需要手握自拍桿，往往造成“拍友”下意識的面向自拍桿或以自拍桿為中心圍在一起，故在照片中留下奇怪的姿勢，影響了照片的美感。究其原因，是使用自拍桿拍照時沒能釋放人們的雙手而造成的。最近，新的拍照裝備——自拍機器人被推出。該機器人可進(jìn)行真正釋放人們雙手的拍照，令“拍友”拍照時的姿勢、動作更隨意。但自拍機器人也有不足，那就是它們被固定在某個位置上為人們拍照，無法實現(xiàn)目標(biāo)對象的大范圍移動跟拍，限制了“拍友”的拍照范圍。因此，如何讓人們更自由的拍攝高質(zhì)量照片仍然是值得深入研究的問題。

本文設(shè)計并實現(xiàn)了基于移動機器人的智能攝影軟件（App），旨在利用機器人的移動特性消除現(xiàn)有自拍機器人拍照位置固定所帶來的限制，進(jìn)一步增強拍照技術(shù)的智能化，包括目標(biāo)對象識別、追蹤、抓拍等方面的自動、精準(zhǔn)和迅速，及后期照片的美化、美容、邊框等個性化裝飾，并為照片添加場景標(biāo)簽方便管理和分享后易于好友的搜索。本軟件結(jié)合了移動機器人的動態(tài)特征，為其將來廣泛的跟各類移動機器人深度融合提供了可能。特別是在目前機器人被大力推廣的時局下，本軟件具有可預(yù)見的商業(yè)潛力。

1　智能攝影軟件的總體設(shè)計

為了滿足人們拍照及其照片運用需求，基于移動機器人的智能攝影軟件應(yīng)當(dāng)具備自動拍照、照片處理和照片管理三方面功能。自動拍照，即從取景、聚焦到拍攝都要實現(xiàn)智能化；照片處理是要能對照片進(jìn)行美容、美化，并讓用戶根據(jù)個人喜好對照片作個性化的裝飾；而照片管理，則包括對照片的標(biāo)注、存儲、分類等。這些功能的使用可為用戶提供一個智能拍照、高效照片加工、安全照片存儲的“攝影師”，令用戶體驗更好地釋放雙手、隨意拍照的樂趣。

圖1　智能攝影軟件的功能結(jié)構(gòu)

如圖1所示，是基于移動機器人的智能攝影軟件的功能結(jié)構(gòu)，其中的智能取景、移動機器人控制、標(biāo)注照片等功能模塊是重要子功能。

（1）智能取景。用戶啟動拍照功能后，軟件進(jìn)入取景過程。軟件自動對取景框內(nèi)的人物進(jìn)行臉部和邊界檢測。在此基礎(chǔ)上，判斷當(dāng)前取景是否為最佳狀態(tài)，若已經(jīng)是最佳狀態(tài)則進(jìn)入拍照過程，否則軟件智能計算取景應(yīng)當(dāng)調(diào)整的角度。該功能的使用，可讓照片拍攝通常處在最佳取景狀態(tài)下。

（2）移動機器人控制。控制移動機器人的前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)以及移動機器人夾具的抬起或下落。這部分功能是軟件內(nèi)部自行調(diào)用的，目的是為了在拍照時借助機器人的位置、角度及其他部件的伸縮，來變換取景內(nèi)容。

（3）標(biāo)注照片。用戶可以在軟件中設(shè)定拍照形式，如個人照、合照、會議照等。待拍照后，軟件利用照片拍攝的上下文信息，如地點、時間和人物等動態(tài)為照片標(biāo)注關(guān)鍵詞，為后期的照片管理提供更多依據(jù)，也為快速檢索照片提供可能。

2　智能攝影軟件的實現(xiàn)

2.1智能取景功能的實現(xiàn)

如前所述，智能取景目的是通過調(diào)整鏡頭位置和角度，以使照片拍攝處在最佳取景狀態(tài)。對于最佳取景狀態(tài)，我們理解為是所有人物被框入鏡頭內(nèi)并居中，這實際上是拍攝照片時最簡單的構(gòu)圖手法——“中心構(gòu)圖”法。這種構(gòu)圖方式的最大優(yōu)點就在于主體突出、明確，而且畫面容易取得左右平衡的效果［2］。由于基于移動機器人的智能攝影軟件是用來進(jìn)行自拍的，即對人物的拍攝，那么利用“中心構(gòu)圖”法來展開智能取景時就以被拍人物為中心進(jìn)行構(gòu)圖。

為了能夠圍繞被拍人物進(jìn)行構(gòu)圖，智能取景功能應(yīng)當(dāng)準(zhǔn)確檢測出取景框內(nèi)的人物，在此使用OpenCV（Open Source Computer Vision Library）［3］中提供的圖像處理算法來實現(xiàn)人臉檢測，并借助人臉來判斷當(dāng)前時刻取景框中的人物站位情況。OpenCV中的AdaBoost算法利用harr或lbp特征進(jìn)行人臉檢測，該算法的訓(xùn)練需要大量圖片，非常耗時，因此OpenCV事先把特征訓(xùn)練好存儲到一些XML文件中供用戶直接使用。在我們使用的OpenCV3.0中，有兩個文件夾haarcascades和lbpcascades，前者存放訓(xùn)練出來的harr特征文件，后者存放訓(xùn)練出來的lbp特征文件。

智能取景分為個人自拍和多人自拍兩種情況。兩者比較，個人自拍更容易處理，只需對被拍人物進(jìn)行人臉檢測并不斷調(diào)整以使該人臉居中即可。對于多人自拍，在人臉檢測后還要找出最左側(cè)及最右側(cè)的被拍人物，調(diào)整兩人的中心位置至取景框中心。如圖2所示，是多人自拍時的智能取景功能的流程圖。

圖2　多人自拍時智能取景流程圖

2.2移動機器人控制功能的實現(xiàn)

根據(jù)智能取景功能的要求，移動機器人不僅要能固定安裝了智能攝影軟件（App）的智能終端（智能手機或平板等），還要能夠調(diào)整智能終端的角度及位置。至于移動機器人的其他功能則不做要求。例如，可選用廣州映博智能科技有限公司生產(chǎn)的派寶機器人［4］。如圖3所示，我們利用派寶機器人的夾具固定了一臺小米平板，該平板充當(dāng)機器人的大腦，通過藍(lán)牙跟機器人聯(lián)系，發(fā)指令控制機器人的所有動作。關(guān)于機器人運動控制，派寶機器人提供了相關(guān)接口，智能攝影軟件（App）只需調(diào)用即可。因此，這里不做更多的說明。

圖3　安裝了小米平板的派寶機器人

2.3標(biāo)注照片功能的實現(xiàn)

標(biāo)注照片，目的在于讓用戶更方便的管理以往拍攝的照片。該功能利用照片拍攝的上下文信息，如地點、時間和人物等動態(tài)為照片及其存放的文件夾命名。因此，需要提供一些功能讓拍照用戶確定被拍人物和拍照地點，而拍照時間則從系統(tǒng)中自動獲取。下面主要講解如何實現(xiàn)讓用戶確定被拍人物和拍照地點的功能。

讓用戶確定被拍人物實際上是給用戶提供一個被拍人物信息管理功能，其中包括被拍人物添加、刪除、更新等。那么，這一功能的實現(xiàn)是要完成數(shù)據(jù)的存儲的。在Android平臺中實現(xiàn)數(shù)據(jù)存儲通常有5種方式，如使用SharedPreferences存儲數(shù)據(jù)、文件存儲數(shù)據(jù)、SQLite數(shù)據(jù)庫存儲數(shù)據(jù)、使用ContentProvider存儲數(shù)據(jù)和網(wǎng)絡(luò)存儲數(shù)據(jù)［5］。經(jīng)過比較，我們選用了文件存儲數(shù)據(jù)的方式。借助Activity的openFileOutput（）方法可以將被拍人物信息輸出到文件中，而且還可以指定文件的操作模式，不過我們在此使用了它的默認(rèn)模式——該文件為私有文件只有該軟件才能訪問。如圖4所示，是被拍人物信息添加界面。

圖4　被拍人物/事件信息添加界面

至于拍照地點的確定，我們借助了騰訊地圖定位SDK的網(wǎng)絡(luò)定位功能［6］。只要將運行了智能攝影軟件（App）的移動終端的Wi-Fi信息發(fā)送到騰訊的定位服務(wù)器，該服務(wù)器經(jīng)計算后隨即返回定位結(jié)果列表。定位功能的核心代碼如下：

public void onLocationChanged（TencentLocation location，int error， String reason）｛

if（TencentLocation.ERROR_OK==error）｛

progressBar.setVisibility（View.GONE）；

Log.i（"TencentLocation"，location.getAddress（）+" -"+location.getName（））；

//根據(jù)location，獲取附近位置pois

List

Collections.sort（pois，new CompareDistance（））；

//遍歷附近位置

for（int i=0；i

Log.i（"TencentPoi"，pois.get（i）.getAddress（）+"-"+pois.get（i）.getName（）+"-"

+（int）pois.get（i）.getDistance（）/15）；

TencentPoi poi=pois.get（i）；

HashMap

map.put（key，name）；

map.put（value，address）；

datas.add（map）；

locationAdapter.notifyDataSetChanged（）；

｝

｝

else｛Toast.makeText（getActivity（），"獲取位置信息失敗"，Toast.LENGTH_LONG）.show（）；

｝

｝

圖5　騰訊地圖返回的一個定位結(jié)果列表

如圖5所示，是騰訊地圖返回的一個定位結(jié)果列表。如果用戶在其中沒有找到滿意的位置，可手動輸入準(zhǔn)確的位置信息。

圖6　照片文件夾列表

用戶輸入的被拍人物和拍照位置信息都將用于為照片及其存放的文件夾命名。如圖6所示，是照片文件夾列表。從中可看出，文件夾的命名遵從了“時間-地點-人物/事件”格式。這樣的照片命名讓照片管理更加方便，有助于照片的分類和查找。

2.4照片處理功能的實現(xiàn)

雖然智能攝影軟件能自動完成照片拍攝，但拍攝效果可能有這樣那樣不如人意的地方。例如，被拍人物臉上的斑點在照片中清晰可見，或者人物出現(xiàn)紅眼等。雖然這些瑕疵都可以使用專業(yè)圖片處理軟件來加工消除，但那要求掌握較高的技術(shù)。為了方便那些既不太懂技術(shù)而又想處理出好照片的用戶，我們在軟件中提供了簡單的照片處理功能，例如去紅眼、去斑、補光、美容等。我們簡單介紹下美容中的“磨皮”功能，它可使照片中的人物皮膚像嬰兒一樣細(xì)膩白晰，且不影響頭發(fā)、眼睛的銳度。該功能也是使用OpenCV中的圖像處理模塊imgproc組件實現(xiàn)的，其關(guān)鍵代碼如下：

Mat src=new Mat（）；

Utils.bitmapToMat（bitmap，src）；

Mat m=new Mat（）；

Mat temp1=new Mat（）；

Mat temp2=new Mat（）；

Imgproc.cvtColor（src，m，Imgproc.COLOR_BGRA2BGR）；

Imgproc.cvtColor（src，temp1，Imgproc.COLOR_BGRA-2BGR）；

Imgproc.cvtColor（src，temp2，Imgproc.COLOR_BGRA-2BGR）；

long nativeObjAddr=native_buffing（m.getNative ObjAddr（），

temp1.getNativeObjAddr（），temp2.getNativeObjAddr（），value1，value2）；

Mat dst=new Mat（nativeObjAddr）；Utils.matToBitmap（dst，bitmap）；

3　結(jié)語

基于移動機器人的智能攝影軟件的使用能夠很好地解決人們自拍的問題。但該軟件在功能及性能方面還有待提升。例如，智能取景時只有一種中心構(gòu)圖法，其在一些要突出背景的場合就不太適合，需要增加更多不同的構(gòu)圖方法。另外，對于照片的標(biāo)注還可以復(fù)雜些，例如可讓用戶自行添加情感關(guān)鍵字等。因此，對該軟件進(jìn)行功能、性能完善是我們的下一步工作。

［1］環(huán)球網(wǎng).全民自拍時代［DB/OL］.中國計算機報，2016-1-12.http：//www.jx.xinhuanet.com/news/photo/2016-01/12/c_1117751842.htm

［2］攝影構(gòu)圖：中心構(gòu)圖法［DB/OL］.http：//jingyan.baidu.com/article/4d58d5413556a79dd4e9c02c.html，2016-7-06.

［3］OpenCV［DB/OL］.http：//opencv.org/，2016-7-06.

［4］派寶機器人［DB/OL］.http：//www.padbot.cn/，2016-7-16.

［5］博客園.Android數(shù)據(jù)存儲實現(xiàn)的5大方式［DB/OL］.http：//www.codeceo.com/article/5-android-storage.html，2016-7-06.

［6］騰訊地圖.Android定位SDK［DB/OL］.http：//lbs.qq.com/geo/index.html，2016-7-06.

Intelligent Photography；Face Detection；Mobile Robot

Design and Implement of Intelligent Photography Software Based on Mobile Robot

ZENG Ling-yuan，WU Dong
（School of Information Engineering，Lingnan Normal College，Zhanjiang 524048）

Designs intelligent photography software based on mobile robot，mobile feature of robot is used to eliminate existing restrictions of position-fixed photography robot and makes photography more intelligent.Introduces the total design of the tool and then analyzes the key problems and implementation，proposes the research priorities.

1007-1423（2016）28-0053-05

10.3969/j.issn.1007-1423.2016.28.015

曾令遠(yuǎn)（1994-），男，廣東遂溪人，本科，從事領(lǐng)域為計算機應(yīng)用軟件研發(fā)吳東（1981-），男，廣西合浦人，講師，碩士，從事領(lǐng)域為復(fù)雜網(wǎng)絡(luò)、社交網(wǎng)絡(luò)研究

2016-07-28

2016-09-28