基于樹莓派和聲紋識別算法的課堂考勤系統

摘 要：由于全國各地高校管理模式寬松，學生的自控意識又較為淡薄，導致許多大學生的到課率得不到保障。其中一個較大的影響因素就是目前課堂考勤仍采用傳統的點名方式，此方式不僅會耗費課堂時間還極易被他人假冒簽到。于是本文提出設計一種新型課堂考勤系統，該系統以樹莓派為核心，通過麥克風獲取音頻信息，通過訓練時延神經網絡說話人模型（即ECAPA-TDNN模型）來實現聲紋識別，最終通過電阻屏完成顯示和交互。經測試，發現該系統具有較高的穩定性和實用性，可以提高課堂考勤準確率、節省課堂時間。

關鍵詞：樹莓派；聲紋識別；ECAPA-TDNN；機器學習；考勤簽到；Python

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2024）02-00-04

0 引 言

盡管市面上的考勤系統豐富多樣，但適用于高校課堂的系統卻不多，由于高校課堂空間小，設備需求量較大，所以空間和成本就成為了必須要考慮的問題。聲紋識別技術已有多年的發展歷史，但由于種種因素的限制，近年來才進入應用落地階段，但該技術在各領域的應用中已經獲得了許多認可。相較于其他生物識別設備，該聲紋識別設備造價低、維護成本低，所占空間小，造假難，識別方式簡便，識別速度快，無需與外界接觸，完全可滿足高校課堂的考勤需求。本文便創造性地將該技術應用在課堂考勤中，研發制作了基于樹莓派的高校課堂聲紋考勤系統，該系統不僅能極大地提高考勤效率，還減少了教師點名所花費的時間，大大提高了課堂質量，同時也解決了可能有學生假冒簽到的問題[1-2]。

1 系統總體設計

在系統軟件部分，本文采用模塊化分布式設計思路，在程序中共設計了3個主要模塊。首先，建立了聲紋識別簽到模塊，將獲取的聲紋特征與聲紋庫中的用戶對比，識別出說話人的身份完成簽到；其次，建立聲紋注冊模塊，將用戶的聲紋信息以及身份信息（如姓名、學號等）綁定，存入聲紋庫，完成用戶注冊；然后，又在聲紋識別的基礎上加入記錄模塊，將用戶的打卡信息及時間存入特定文件中，可隨時導出該記錄文件。其還包括其他輔助功能，該部分由多組函數構成，包括用戶聲音處理、聲紋庫建立、簽到結果顯示、簽到結果播報、錯誤反饋等，這些功能的目的在于聯系其他模塊以及完成信息的采集和傳遞。最后，為每一個功能都設計相關圖形界面，使系統使用起來更加便利[3-4]。

在硬件部分，本文主要以樹莓派為主體，將麥克風、揚聲器、電阻觸摸屏與之相連，安裝相關驅動，設置輸入輸出端口。系統總體結構如圖1所示。

2 系統硬件設計

本文采用的樹莓派型號是Raspberry Pi 4B，由于樹莓派自身架構和配置限制，導致在許多系統版本里某些所需的package無法正常下載或使用。經過多次測試，發現bullseye（64位）系統可以解決這些問題，同時64位系統的運行速度和計算能力也優于32位系統，不僅提升了程序執行的速率，更減少了內存的占用[5-6]。

采用的錄音設備為USB免驅樹莓派專用型麥克風，該麥克風免驅動即插即用，其體型小重量輕，使用方便，同時具有較高的靈敏度，有效距離超2 m，其錄制的音頻清晰度平坦，具有寬闊的頻率響應，便于后續處理，可提高識別準確率[6]。

采用的播放器是樹莓派免驅揚聲器，該揚聲器配備了

3.5 mm音頻接口和USB電源接口，無需驅動，可通過該設備完成相關信息的語音播報。

采用的顯示器是一款3.5英寸的電阻觸摸TFT屏，具有觸摸功能，而且該屏幕支持SPI接口和HDMI接口，可以直接連接到樹莓派上使用。

3 系統軟件設計

3.1 聲紋識別簽到模塊

3.1.1 創建數據及數據集預處理

本文選用主流ECAPA-TDNN模型。首先創建數據，然后對模型進行訓練，對訓練好的模型評估測試其準確率，然后將數據導出。進行識別時，訓練好的模型會預測錄取聲紋的特征值，然后將其與聲紋庫中的聲紋信息對比，最終完成識別。聲紋識別模塊結構流程如圖2所示。

3.1.2 ECAPA-TDNN模型訓練過程

（1）創建數據及數據集預處理

使用的數據集為開源的語音語料數據集，共有3 000個人的語音數據，我們使用Python工具模塊Aukit處理音頻，可以很好地降低噪聲影響并去除沒有聲音的情況。由于MP3格式在處理過程中讀取速度慢，所以本文將其轉換為WAV格式，可以大大提高處理數據的速率，并且在創建數據列表之后，需檢查是否有錯誤數據，將錯誤數據刪除[7]。

（2）訓練模型

編寫機器學習代碼訓練模型。本項目音頻預處理指定Mel Spectrogram方式。在訓練過程中，保存程序日志，可隨時查詢訓練結果，也可以指定其他增強方式。

（3）評估模型

訓練結束后程序會保存預測模型，我們將預測模型導出，并且通過該模型預測測試集中的特征值，將其與測試集真值比較，觀察模型的預測情況，設置閾值進行梯度運算，直到找到最佳閾值并計算其準確率。

3.1.3 聲紋對比及識別過程

讀取聲紋庫里的兩個音頻文件，加載文件后分別對二者做傅里葉變換，計算它們的短時傅里葉變換，然后再將音頻數據裁剪到特定長度，對其進行歸一化處理。之后將數據放入預測模型中預測其聲紋特征，最后計算兩個聲紋特征的對角余弦值，即可得到二者的相似度。

在上述聲紋對比的基礎上，加入一個聲紋庫用來存儲用戶聲紋特征，識別時，通過錄音函數獲得該條音頻文件并進行處理，然后通過預測模型得到其聲紋特征值，將其與聲紋庫中的音頻一一進行對比，計算二者之間的相似度。當計算到某一值與其相似程度達到設定的閾值，即認定二者是同一人，然后通過其他模塊獲得該用戶的身份信息，完成簽到。

3.2 學生注冊模塊

該模塊的功能是保存用戶的聲紋信息及其身份信息，用于日后聲紋識別簽到。先將用戶的注冊信息保存到一個文件夾里，通過錄音功能有效捕捉用戶的語音數據，之后對音頻文件進行剪裁、降噪和預處理等，以確保其質量和可用性。在處理完音頻數據后，通過模型預測其特征值，再將其與用戶信息（如姓名、學號等）綁定，便于管理和查詢。模塊結構如圖3所示。

3.3 簽到記錄模塊

該模塊用于記錄用戶的簽到狀態及時間，便于管理者查看和導出。當用戶完成一次簽到時，需要讀取用戶的信息，包括學生姓名、學號等身份特征，用來記錄用戶簽到的情況。為了記錄簽到時間，可以使用Python中的Datetime工具。

當用戶簽到時，程序可以自動獲取當前時間，并將用戶信息和簽到時間一同存入一個文本文件中，在該文本文件中，每行記錄一個用戶的簽到信息。例如，每一行包括用戶的姓名、學號、簽到時間。每次簽到后，新的一行會被追加到文件末尾，還提供導出功能，用戶可以隨時導出簽到記錄文件，以便查看歷史簽到記錄。導出功能可以將文件中的所有簽到信息導出為多種格式，方便用戶查看和分析[8]。模塊工作流程如圖4所示。

3.4 輔助功能

3.4.1 操作提示語音播報

該功能依靠pyttsx3庫，通過Python語言配合音頻輸出設備和語音合成工具完成。安裝所需的音頻驅動和語音合成工具，使用Python編寫語音播報腳本，腳本中需要導入所需的庫和依賴項，并進行必要的配置。接著，腳本可以讀取需要播報的文本，調用語音合成工具將其轉化為語音，并通過音頻輸出設備播放。需要注意的是，在使用樹莓派進行語音播報時，還需要考慮音頻輸出設備的連接方式和設置，通常情況下，可以通過3.5 mm音頻接口或HDMI接口連接音頻輸出設備，可在系統設置中進行相應配置。

3.4.2 簽到記錄一鍵清除

該功能是為了清除已經報廢的簽到記錄，可在簽到系統中點擊“清除記錄”，然后程序打開文件執行清除操作。

3.4.3 錯誤彈窗

當出現錯誤時系統會自動彈窗，跳回上一步，避免程序出錯導致系統卡頓或程序停止運行。

4 GUI設計

關于圖形用戶界面（GUI）的設計，本文采用Python自帶的Tkinter工具進行GUI開發。共設計了以下4個頁面：

（a）主菜單：該頁面包含4個按鈕，各自對應簽到、注冊、查看簽到記錄、清空記錄。點擊“簽到”會執行聲紋錄制程序，并識別；點擊“注冊”跳到頁面（b）；點擊“查看簽到記錄”跳到頁面（c）；點擊“清空記錄”則清空記錄文件。

（b）注冊錄音頁面：該頁面包含2個按鈕，分別對應開始錄音和返回。點擊“開始錄音”執行聲紋錄制程序并保存音頻，隨即跳到頁面（c）；點擊“返回”跳回頁面（a）。

（c）注冊信息頁面：該頁面包含2個按鈕，分別對應確認和返回，同時存在2個文本框，在文本框內輸入姓名、學號等信息，點擊“確認”后將文本框內的數據與之前錄好的音頻綁定保存到聲紋庫，完成注冊，隨即跳回頁面（a）；點擊“返回”跳回頁面（b）。

（d）簽到記錄：該頁面包含一個按鈕，對應返回，還包含一個大的文本框用來顯示簽到記錄數據。點擊“返回”會跳回頁面（a）。

軟件菜單界面如圖5所示。

5 課堂考勤系統的實現

5.1 打卡簽到

當用戶按下簽到按鍵后，用戶發出語音，系統錄音3 s，開始識別。系統將該條語音送入聲紋識別簽到模塊，經過處理和模型預測得到該條語音的聲紋特征，再將其與語音庫的聲紋特征逐一比較，若判定識別成功則播報“成功”并且彈窗顯示簽到者的姓名，然后返回主菜單，繼續下一次識別簽到；若識別失敗，則彈窗提示聲紋庫中未注冊此人[9-10]。簽到成功彈窗如圖6所示。

5.2 學生注冊

當按下注冊按鍵后，開始錄音3 s，用戶發出語音，系統處理并保存音頻文件，然后用戶填寫身份信息，填寫完成后點擊“確認”，若注冊成功則彈窗提示[11]。注冊界面如圖7所示。

5.3 查看簽到記錄

當按下查看簽到記錄按鍵后，系統便會跳轉到存有簽到記錄的頁面，用戶可以看到簽到的人員信息以及簽到時間，用戶還可以通過后臺文件查找該記錄，或直接導出簽到名單[12-13]。簽到記錄頁面如圖8所示。

6 結 語

本文以樹莓派為中心連接相關外部設備，運用聲紋識別技術，設計研發了高校課堂聲紋考勤系統。實際測試表明，該系統功能完善，具有實用的人機交互界面和便捷的打卡簽到方式。此外，該系統的耐用性好，維護成本低，安全性強。該系統的投入使用不僅可以督促學生的日常通勤，從而更好地保障課堂教學質量，還可以提高課堂管理效率，減輕教師的工作負擔。其具有重要的實際意義和廣闊的應用前景，有望成為未來高校課堂管理的重要工具之一。

注：本文通訊作者為邢雅瓊。

參考文獻

[1]袁曉波. MP3音頻壓縮對聲紋識別的影響分析[J].廣播與電視技術，2021，48（10）：127-131.

[2]郭子芊，陳江濤，麥偉健，等.基于聲紋識別的可分配權限智能家居終端設計[J].物聯網技術，2021，11（8）：117-120.

[3]曾桂南，吳戀，何燕琴，等.基于聲紋識別技術的常見模型與發展應用[J].現代計算機，2021，38（21）：72-75.

[4]劉凱.基于深度學習的語音喚醒研究及其應用[D].廈門：廈門大學，2018.

[5]曾劍飛.低信噪比條件下的語音端點檢測算法研究[D].廣州：華南理工大學，2019.

[6]邊蓓蓓，張曉賢.多關鍵詞離線語音喚醒模塊的實現[J].現代信息科技，2020，4（8）：22-23.

[7]王正創.基于MFCC的聲紋識別系統研究[D].無錫：江南大學，2014.

[8]王華朋，楊洪臣.聲紋識別特征MFCC的提取方法研究[J].中國人民公安大學學報（自然科學版），2008，14（1）：28-30.

[9]盧一男，單寶鈺，關超.聲紋識別技術現狀與發展應用[J].信息系統工程，2017，30（2）：11.

[10]楊陽.聲紋識別技術及其在司法鑒定中的應用[D].廈門：廈門大學，2007.

[11] SILNOVA A，BRUMMER N，GARCIA ROMERO D，et al. Fast variational Bayes for heavy tailed PLDA applied to i vectors and x vectors [C]// 2018 Interspeech. [S.l.：s.n.]，2018：72-76.

[12] SRIVASTAVA R K，GREFF K，SCHMIDHUBER J. Training very deep networks [C]// Advances in Neural Information Processing Systems. [S.l.：s.n.]，2015：2377-2385.

[13] MUKHERJEE H，DUTTA M，OBAIDULLAH S M，et al. A speaker identification system from short utterances [C]// International Conference on Recent Trends in Image Processing and Pattern Recognition. Singapore：Springer，2018：438-448.