基于TFJS技術訓練的關鍵點模型如何在本地部署

中圖分類號：G434文獻標識碼：A論文編號：1674—2117（2025）15-0087-03

問題的提出：TFJS手勢分類模型能否在本地部署

為降低學習難度，多家企業開發了基于網頁前端技術的模型訓練工具。通過該工具，學生不用編寫代碼也能親歷數據收集、模型訓練和測試的完整環節，因而它在中小學的人工智能通識課中得到了廣泛應用。這類工具基本上是采用TensorFlow.js（簡稱TFJS）實現圖像分類、音頻分類、關鍵點分類（手勢、姿態）和文本分類等。自浦育團隊實現圖像分類模型轉ONNX后，教師們意識到TFJS模型的訓練不僅僅可以用于體驗，還可以部署在本地并解決真實問題。因此，教師們開始關注TFJS類模型訓練工具，期待關鍵點模型也能轉換為ONNX，并且支持XEduHub這一工具推理，讓中小學的人工智能通識課的內容更加豐富多彩。此外，很多支持Linux的開源硬件已經內置了XEduHub，這樣一來，開發一個人工智能作品就會變得簡單。然而，關鍵點分類模型卻因自身的技術復雜性，在轉換為ONNX格式并實現跨平臺部署方面遇到了瓶頸。

可行性分析：基于MediaPipe的關鍵點識別技術

基于TFJS技術的關鍵點分類模型訓練，一般不是直接采用端到端（End-to-End）方式來實現的，而是分步實現：先采用關鍵點檢測（KeypointDetection）獲得關鍵點，再借助全連接神經網絡來訓練模型。但是，即使將TFJS模型轉換成ONNX模型，也不能在本地環境部署使用，因為本地環境也需要使用同樣的關鍵點檢測技術獲取關鍵點。想了解這方面的技術細節，請參考文章《用XEduHub推理網頁前端訓練的聲音分類模型》（發表于本刊雜志2025年第9期）。

因此，需要選擇一個既支持網頁端又支持Python環境運行的關鍵點檢測技術框架，才能做到讓TFJS模型可以在本地部署。經調研，MediaPipe憑借其獨特的跨同時，平臺直接提供ONNX模型的轉換功能，還提供轉換后的model.onnx文件及詳細的Python推理案例代碼。

平臺特性，成為解決手勢分類模型跨平臺部署問題的理想選擇。它能夠同時支持移動端、桌面端、網頁（Web）以及邊緣設備（如樹莓派、行空板等），甚至可部署到嵌入式系統或云端。

口簡潔易用。經測試，MediaPipe在網頁端和Python端的關鍵點檢測結果是一致的。以手勢為例，獲取的都是21個關鍵關節坐標。這些關鍵關節包括指尖、指節、手掌中心等，它們的坐標信息能夠準確描述手部的形狀和位置。

問題的解決：編寫一個XEduHub擴展插件

1.MediaPipe簡介

2.手勢分類模型的訓練

MediaPipe是由GoogleResearch開發并開源的一款多媒體機器學習模型應用框架，和TFJS一脈相承。在網頁端，MediaPipe可以直接借助TFJS實現模型的推理過程。而在Python端，MediaPipe提供了相應的庫，接

在很多人工智能教學平臺上，訓練一個手勢分類模型的過程很簡單，類似圖像和音頻的分類，不需要寫任何代碼即可訓練模型。在訓練完成后，平臺會提供模型測試功能，直接測試模型的識別效果。

有了ONNX模型和自帶的推理文件，還不能直接使用XEduHub進行推理，需要把推理過程封裝成repo擴展插件，才能使用XEduHub來進行推理。封裝repo插件難度并不高，只要具備一定的Python編程能力，并且擁有模型推理的Python代碼，遵循XEduHub的規范，就能自行開發。具體過程一般分為獲取Python推理代碼、編寫封裝代碼、創建repo倉庫、調用repo插件四個步驟。

1.獲取Python推理代碼

當在某平臺下載ONNX模型時，平臺自動執行從TFJS模型到ONNX模型的格式轉換，并且提供相應的推理代碼。一般來說，推理代碼中會提供模型加載并初始化相關的推理引擎的功能，并且完成數據預處理工作。這是因為輸入到模型的手勢數據需要經過標準化、歸一化等處理，以符合模型的訓練要求。例如，對于手部關鍵點坐標數據，需要將其轉換為模型能夠接受的維度和范圍。

2.編寫封裝代碼

代碼封裝階段主要是編寫data_process.py文件，該文件將實現模型加載、數據預處理和推理接口等核心功能。推理接口則需要設計得簡潔易用，能夠接收輸入數據并返回推理結果。其核心代碼如上頁圖1所示。

3.創建repo倉庫

將轉換后的ONNX模型和編寫好的data_process.py等代碼文件按照XEduHub的Repo插件規范，上傳至魔搭社區（ModelScope），創建專門的repo倉庫。在上傳過程中，需要填寫倉庫的相關信息，如倉庫名稱、描述、標簽等，以便其他用戶能夠方便地查找和使用該插件。同時，要確保倉庫中的文件結構清晰，便于XEduHub系統正確識別和加載插件。倉庫目錄中一般包含如圖2所示的文件，其中model.onnx和data_process.py為必需文件。

4.調用repo插件

在repo擴展插件上傳完成后，就可以使用XEduHub工具調用它使用本地算力來進行推理了。最終的推理代碼（只有4行）如圖3所示。

該代碼的關鍵是wf（repo =1 cnyiwei/Rock-Paper-Scissors'），指定了云端模型的repo倉庫名稱。在運行代碼后，平臺會自動下載推理需要的核心文件。model.inference（'hand_image.jpg'）實現了對\"hand_image.jpg\"推理。推理結果如圖4所示。

XEduHub的repo功能相結合，本文實現了網頁前端訓練的手勢分類模型的高效流通和跨平臺部署，為中小學人工智能通識教育提供了從訓練到應用的完整鏈條。XEduHub的repo功能為模型的封裝和共享提供了便捷的途徑，降低了模型部署的技術門檻；TFJS技術支持在瀏覽器中直接運行ONNX模型，實現了網頁端推理與本地化部署的無縫銜接；Web頁面數據采集工具則簡化了數據集的構建流程，為模型訓練提供了充足的數據支持。

圖2repo擴展插件倉庫目錄結構

受此啟發，筆者針對人工智能通識教育的工具還提出了更多的需求。例如，網頁端工具應該提供數據導出功能，導出的數據最好包含原始圖片和相應的關鍵點數據（CSV格式）。又如，既然能實現手勢分類，那么姿勢分類（基于姿勢關鍵點）、人臉識別（臉部關鍵點）都能按照同樣的方式實現。當然，如果網頁端采用的是OnnxRuntimeWeb技術，那么轉換后的模型就能直接用XEduHub內置的代碼推理，連MediaPipe環境都不需要安裝了。同理，只要有合適的ONNX模型，絕大多數的分類任務都能像圖像分類、音頻分類、手勢分類一樣，實現網頁前端訓練和本地部署的無縫結合。

圖4模型推理結果