基于圖像和語音聯(lián)合交互技術(shù)的人工智能機械臂平臺

唐成燁 高琪 李曼莉 唐瑞虎

摘 要：通過語音輸入與交互，實現(xiàn)機械臂系統(tǒng)功能的語音控制，使普通用戶能夠通過簡單的言語溝通，靈活地使用人工智能來處理一些事務(wù)。方便人們使用，使人與機器的溝通更加便捷。通過語音和圖像配合的輸入與輸出，能夠使機器更擬人化，使用者能更容易地操作機器。

關(guān)鍵詞：圖像；語音；聯(lián)合交互；人工智能；機械臂平臺

當(dāng)前人工智能產(chǎn)品功能相對單一，為了發(fā)揮人工智能產(chǎn)品更大的便利性，越來越多的產(chǎn)品變的更加智能化、集成化，目前大多數(shù)主流開發(fā)商已經(jīng)不再僅僅專注于某一領(lǐng)域，而是多領(lǐng)域開發(fā)，創(chuàng)造更多的價值。本作品就是基于人工智能技術(shù)研究語音、動作一體化機械臂，整合來自視覺、語音等多模態(tài)信息，利用語音識別與數(shù)據(jù)經(jīng)驗積累，充分理解、記憶、預(yù)測和應(yīng)對客戶的需求，方便人們的生活和工作。

一、機械臂應(yīng)用群體范圍

自動化：行業(yè)中大多包括半自動化設(shè)備，且需要提供一定的人力資源滿足對半自動化設(shè)備的調(diào)試、使用、維護。人工智能機械臂作為一種靈活的自動化應(yīng)用設(shè)備，能夠驅(qū)動企業(yè)中大多數(shù)半自動化設(shè)備，并且具有一定的監(jiān)督功能，能夠在設(shè)備出現(xiàn)故障時發(fā)出警報。人工智能機械臂在企業(yè)自動化方面能夠為節(jié)省大量人力，并且能夠擁有更長的工作時間，也保證了工人的人身安全。

智能產(chǎn)品檢測：工業(yè)生產(chǎn)大制造，質(zhì)量與形狀方面的不合格品能夠通過篩選剔除，但是產(chǎn)品表面是否達到合格，往往需要一定的人力提供幫助。人工智能機械臂在此領(lǐng)域的貢獻是，能夠自動地檢測產(chǎn)品的外觀與形狀，并把不合格的產(chǎn)品剔除并拍攝上傳到服務(wù)器用于統(tǒng)計，為企業(yè)產(chǎn)品量化提供方便。

助理服務(wù)：人工智能機械臂也是面向群體面向大眾的，能夠在日常生活中為使用者提供一定的便利，例如：物品分類、知識答疑等。經(jīng)過改進后，完全能夠做到在醫(yī)學(xué)領(lǐng)域遠程行醫(yī)。

主要功能與特色：集遠程遙控、自主學(xué)習(xí)并執(zhí)行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達到一體多功能效果。通過不斷實驗和實踐積累經(jīng)驗改善并增加功能追求多方面功能集一身的特色。

二、模塊詳細介紹

視覺的開發(fā)方面依賴于攝像模塊，圖像識別算法上需要cv等模塊支持。在開發(fā)視覺功能前，為開發(fā)過程穩(wěn)定，推薦選用NVIDIA旗下的圖像處理模塊。除此之外，還包括但不限于開發(fā)板、風(fēng)扇、舵機模塊。圖像識別不僅僅是硬件上的組裝，主要還是需要在后期的算法上進行研究，特別是當(dāng)一個項目在對于外界環(huán)境的識別要求具有一定的精準度時，就對軟件方面的開發(fā)要求更高。

在圖像處理上，通過卷積神經(jīng)網(wǎng)絡(luò)來對開發(fā)人員的數(shù)據(jù)集進行訓(xùn)練。反復(fù)訓(xùn)練能夠提高對于同樣一個模型的角度的準確率。模型訓(xùn)練過程中能夠自適應(yīng)圖像的位置，能夠?qū)τ谝R別物體的特征進行分析，同時屏蔽掉一些干擾，識別中通過調(diào)整對目標檢測的相似度來保證得到的訓(xùn)練結(jié)果能夠更加精確。模型檢測中，在視頻輸入流下，攝像模塊在開發(fā)前已經(jīng)相互兼容。視頻流的目標檢測是通過對于視頻中的每一幀進行單獨檢測輸出到屏幕從而實現(xiàn)視頻流檢測功能。

三、結(jié)語

人工智能機械臂平臺針對不同用戶的需求模式，完成用戶自定義模式，通過物品識別、動作調(diào)正等功能，為不同用戶提供方便，使機械臂在生活中發(fā)揮更加廣泛的應(yīng)用。集遠程遙控、自主學(xué)習(xí)并執(zhí)行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達到一體多功能效果。通過語音模塊，調(diào)用對應(yīng)的方法，通過語音控制實現(xiàn)人機交互。對于給定的輸入圖像，系統(tǒng)不僅可以通過語音交互完成控制，系統(tǒng)也可以通過自動識別，對圖像進行自動處理。

人工智能機械臂平臺的研究針對于大多數(shù)產(chǎn)業(yè)及一些其他普通工作的智能自動化。項目采用了Python語言設(shè)計，內(nèi)部嵌入式環(huán)境為Linux衍生的Ubuntu系統(tǒng)。項目開發(fā)之所以采用嵌入式，原因在于該方式可以極大程度上降低項目的開發(fā)周期，同時能夠在項目開發(fā)過程中出現(xiàn)問題時便于調(diào)試。