基于“人工智能+物聯網”的智能家居實驗實訓平臺設計

宋晨靜 高 浩

（江蘇知途教育科技有限公司，江蘇 南京 211899）

0 引言

由互聯網深度發展出來的物聯網技術已經廣泛應用到許多領域，智能家居就是物聯網技術的典型應用。智能家居主要依托于物聯網技術，將家電、照明、門窗、監控和安防系統等聯系到一起。隨著人工智能技術的不斷發展，智能化的家居設備不斷推陳出新，結合圖像識別、語音識別等人工智能技術，不但可以實現遠程控制家居設備，還可以通過語音等方式進行交互，或者通過視頻監控發現異常，及時自動預警等。人工智能技術推動智能家居系統化發展，人機交互模式將由傳統的人工控制，向智能家居產品自勵感應方向、自勵反饋方向發展。

利用人工智能技術與物聯網技術相結合的智能家居平臺，設計一款智能家居實驗實訓系統，可以方便學生掌握最新的技術實踐，實現跨專業的實驗實訓教學，加強學生實踐能力，激發學生學習興趣，具有非常重要的價值。本文主要介紹通過結合具有推理能力的開發板和物聯網平臺，搭建可以實現多種應用的智能家居實驗實訓平臺。

1 實驗實訓系統設計需求

智能家居系統首先需要實現一部分物聯網平臺的基本功能，通過智能網關接入各類傳感器和智能設備，并通過物聯網平臺進行管理和遠程控制。另外一部分則利用人工智能技術，通過端側設備采集語音和圖像數據，并通過云端模型和端側推理等AI任務，實現語音、圖像識別和解析，進而控制智能設備。

本智能家居實驗實訓平臺需要適應多種智能應用場景，融合編程語言、語音、視覺和深度學習等技術，具備通用性、智能性與完成復雜任務的能力，實現在家庭環境中控制家居設備的智能化功能，從而充分鍛煉學生基于物聯網和人工智能的應用開發能力。智能家居平臺設計的主要應用場景如下：

人臉開鎖：用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部識別，進行身份驗證，實現刷臉開鎖。

電子圍欄監控：該項智能化功能是通過十字標尺或矩形標尺攝像頭監控半夜車庫、房屋、臥室等場所，檢測可疑人員入侵，如到達十字標尺劃定的警戒線，即自動預警或報警，以便采取相應措施。

智能語音：本功能模塊主要是離線語音識別、在線語音識別和App遠程控制三個功能相結合。對于離線、在線語音識別功能，系統不僅需要正確識別控制指令，改變相應智能設備的運行狀態，還需對用戶非控制指令的語音做出正確互動。為了實現使用App遠程控制家居設備，系統不僅要能識別文本消息，還需支持語音消息。

2 系統總體設計

基于整體設計需求，平臺架構由AI（包括音頻，視頻、大數據服務）智能和智能家居兩部分構成，如圖1所示，AI智能完成各種數據采集、數據清洗、數據模型，數據推理等AI相關任務；智能家居系統由物聯網接入平臺，如阿里云物聯網平臺或者涂鴉物聯網平臺等物聯網SaaS系統，智能網關、傳感器和智能設備，用戶控制終端構成，為AI智能提供終端執行環境。

圖1 實驗平臺系統架構

平臺系統的智能設備部分主要由溫濕度傳感器模塊、智能照明模塊、攝像頭模塊、USB免驅模塊、有線門鈴、涂鴉智能窗簾電機和窗簾桿、WiFi無線傳輸模塊、門禁電源控制器以及控制器與處理器模塊構成。實現人臉開鎖案例時，以Jetson Nano開發板作為核心控制器，通過攝像頭模塊對家居環境參數進行采集，然后通過Nano開發板的AD模塊對傳感器采集的模擬量數據進行數據轉換，最后通過處理模塊進行數據處理，模型推理從而實現人臉識別，進行控制電控門禁完成開鎖。

終端設備通過物聯網接入平臺連接物聯網SaaS系統，同時通過Wi Fi模塊將采集到的傳感器數據上報至云端服務器，服務器再將傳感器所采集到的相關數據轉發給手機App客戶端，將設備狀態信息在手機App平臺進行顯示。實現電子圍欄案例中，當攝像頭捕獲到闖入人員進入電子圍欄區域，通過Nano開發板已部署的模型推理能力能夠做出判斷，并發送信息到App，從而實現預警。

當用戶入戶后，對著Nano開發板外接語音設備對話，發出打開窗簾或者打開客廳燈等指令，開發板會調用百度云語音識別API進行解析，然后通過WiFi模塊傳輸信息到窗簾和燈泡以控制其開關。當溫濕度傳感器檢測到的數據低于所設定閾值時，語音播放模塊將會播放異常信息。同時Nano開發板通過WiFi模塊發送指令到紅外控制器，實現遠程開關空調。

該智能家居實驗技術平臺能夠實現各類智能設備的操作控制，還能實現圖像識別和語音設備等AI交互模式，便于實驗室教師開展相關的AI+物聯網實驗教學，實用性價值比較高。

3 平臺系統的硬件設計

智能家居控制系統硬件系統主要以Nano開發板為核心處理器，通過各個傳感器對環境參數進行檢測。將傳感器輸出的電信號接入開發板的A/D轉換模塊，轉換成開發板能夠處理的數字信號，通過Wi Fi網關對接電控窗簾，可調照明、傳感器組件等智能設備，同時對接麥克風、攝像頭、音箱、顯示器等人機交互設備。然后通過WiFi模塊發送至云服務器，并將部分重要參數值發送至手機App進行顯示。核心的硬件模塊包括如下。

3.1 開發板選擇

Jetson Nano是英偉達（NVIDIA）提供的一款功能強大的小型計算機，可以支持入門級的邊緣AI應用程序和設備。具有5W低功耗，并可以外接HDMI和網線，64G內存卡以及多種IO接口，能夠滿足作為本系統核心處理器的要求。

3.2 攝像頭

采用海康網絡攝像機DS-IPC-B12V2-I，具備200萬像素，8mm焦距，并支持紅外攝像，滿足電子圍欄案例的攝像頭要求。

3.3 語音系統

可以采用麥克風陣列或者更加便宜的USB免驅啟動麥克風，都可以滿足要求。

3.4 門禁系統

采用型號KT-P101的門禁電源控制器，支持充電過載保護。以及型號KT-L606的電插鎖，啟動電流110mA，采用磁感應上鎖方式，支持通電上鎖，斷電開鎖的開門方式。

3.5 其他傳感器和智能家居設備

采用型號為MIR-TE200-WF的溫度與濕度傳感器,涂鴉智能窗簾電機和窗簾桿，還有型號為Smart WIFI LED Bulb的燈泡，帶WiFi和RGB色彩控制。

4 系統軟件設計

實驗平臺中，使用網關實現各種設備與物聯網平臺的通信鏈接，物聯網平臺集成了設備管理、數據通信和消息訂閱等功能。向下支持連接智能終端設備，采集設備數據上云；向上提供云端API，手機端App可通過調用云端API將指令下發至設備端，實現遠程控制。如圖2所示。

圖2 App管理界面

設備接入物聯網平臺后，可上報設備數據至云端。通過物聯網平臺集成關聯的其他云產品，實現設備與服務器的消息通信，以及設備數據的處理和存儲。還可以通過云端的AI服務實現語音識別或者圖像識別的AI功能，也可以直接把模型部署到Jetson Nano開發板，完成本地的語音識別或者圖像識別的AI模型推理。

5 基于平臺的實訓案例

基于上述軟硬件搭建智能家居平臺后，可以依據不同場景開發不同的實驗實訓，讓學生完成不同場景下的應用開發。

5.1 電子圍欄實驗

使用攝像機設備和通信網絡，實時監控采集家居周圍的視頻，并完成預警。傳感器設備可通過總線連接網關，再通過網關將其連接到物聯網平臺，實現在云端展示和管理。在監控過程中，具有推理能力的Nano開發板依據采集到的視頻進行人體識別，預測視頻中是否有閑雜人員出現，如果有人員靠近設定的禁區，則會通過開發板觸發信息到報警器，并同時上傳到云端進行預警。實際效果如圖3所示。

圖3 電子圍欄監控效果

5.2 語音控制設備實驗

語音模塊主要是實現離線語音識別和在線語音識別。當用戶對著麥克風對話時，Nano開發板會調用硬件設備上的麥克風采集聲音，通過其內置的音頻處理算法對語音信號進行預加重、分幀加窗、端點檢測、特征向量提取，最后進行模式匹配實現本地的語音識別，直接控制智能設備。或者，通過百度云的語音識別的服務，開發板檢測用戶的語音指令輸入上傳到云端，云端完成指令解析，并遠程控制設備，自動完成窗簾開關、加濕器開關，照明調節等功能。

5.3 人臉開鎖

在Nano開發板上進行人臉錄入操作，用戶正對攝像頭，由攝像頭通過特征檢測采集并錄入人臉，對每一個人拍攝100張照片，對拍攝到的人臉圖像進行特征提取與特性選擇，在服務器上基于TensorFlow進行人臉識別模型訓練。完成訓練模型后，利用TensorRT將模型部署到開發板上，用戶就可通過開發板進行本地的人臉推理辨別。對人臉驗證成功后，開發板發送信息到門禁電插鎖進行開鎖，驗證失敗則由蜂鳴器發出警報。

6 結語

本智能家居實驗平臺通過將Jetson Nano開發板和物聯網平臺、以及人工智能服務結合起來，設計了一個能夠通過語音控制智能家電的開關，并通過攝像頭完成智能門鎖，和電子圍欄智能報警的系統。本實驗平臺充分實現了人機交互和設備的智能化，基于場景化的應用案例的學習與體驗，滿足物聯網和人工智能相關專業的教學和實驗實訓場景。