基于成熟AI服務的音視頻檢索系統設計

摘要：人工智能的時代已經到來，不斷有新的人工智能算法、模型和服務產生。如何高質量利用這些成熟的人工智能，發揮其經濟價值，是一個不得不思考的問題。文章選擇音視頻檢索應用場景，并結合利用人工智能服務，闡述了基于成熟AI服務的音視頻檢索系統的需求分析、功能設計和系統架構。

關鍵詞：人工智能；音視頻檢索；系統設計；人工智能服務

中圖分類號：TP399" 文獻標志碼：A

0 引言

隨著人工智能（Artificial Intelligence，AI）的高速發展，成熟的AI服務和技術層出不窮，如圖像識別、語音識別、自然語言處理和生成式人工智能等［1］。國內外各大人工智能公司通過網絡服務的形式提供了成熟的AI服務和技術。

用戶通過調用AI服務獲取信息處理結果。這些AI服務都在實際應用場景中通過驗證，其精確性和準確性都能滿足具體應用需求。

如何將成熟的AI服務和技術應用到適合的場景和系統，發揮AI的作用反而成了問題。國家在《關于加快場景創新以人工智能高水平應用促進經濟高質量發展的指導意見》中提出了人工智能在場景創新和系統設計等方面的不足，并給出了具體的指導思想、基本原則和發展目標。本文將進一步研究使用當前成熟的AI服務和技術設計音視頻檢索系統。

1 人工智能服務

當前人工智能公司主要通過服務頁面和SDK 2種形式向用戶提供服務。

1.1 服務頁面

用戶通過服務頁面上傳數據或信息，人工智能服務運算完成后，再將運算結果返回到服務頁面。此服務適用于不需要將AI服務組合使用和嵌入系統使用的場景。

1.2 人工智能服務SDK

軟件開發工具（Software Development Kit，SDK）是功能函數或服務的集合，提供了調用API的環境；應用程序接口（Application Programming Interface，API）提供數據和信息的接口。用戶通過授權，獲取使用SDK調用人工智能服務API的權限。將數據或信息通過API提交給人工智能服務，人工智能服務運算完后，將結果再通過API返回給用戶。

系統開發采用SDK方式。此方式相比服務頁面方式更加靈活，提供的功能也較多。但需要一定的開發工作量和學習成本。

1.3 當前成熟的AI服務

國內外人工智能公司提供了大量成熟的人工智能服務。主要可分為文字識別、語言識別、圖像識別、自然語言處理和生成式人工智能等。部分成熟的人工智能服務，如表1所示。

2 需求分析

2.1 音視頻的采集和存儲

實際應用中，音視頻來源具有多樣性。系統需要將各種來源的音視頻集中采集，轉換成相對統一的音視頻格式，并收集音視頻描述信息，系統再將轉換后的音視頻和描述信息結構化后進行存儲。在此過程中，系統實時監控數據的轉換、結構化和存儲情況，及時對過載、異常等情況做出判斷和處理。

2.2 音視頻預處理

預處理過程主要完成分幀、抽幀、音視頻分離、音頻消噪和視頻幀信息保存等工作［4］。通過預處理為后面的人工智能處理提供數據，建立為人工智能處理服務的預處理信息庫。

2.3 人工智能處理

此過程將配置并創建人工智能處理任務、工作流和人工智能信息庫。任務是為了完成一個目的而創建的，是工作流的集合。工作流主要完成AI服務的調用和結果信息存儲。

2.4 檢索

根據預處理信息庫和人工智能信息庫建立檢索指標。通過一個或組合多個檢索指標，檢索預處理信息庫和人工智能信息庫的結果信息。可以預先配置常用檢索，如關鍵人或物體檢索、關鍵詞檢索和類似語句檢索等。

2.5 可視化顯示

以直觀的形式展現檢索結果，統計圖表、交互信息和動畫都是常用的可視化手段。

3 功能設計

3.1 音視頻采集轉換器

音視頻采集轉換器主要用于創建音視頻基礎庫。音視頻基礎庫使用分布存儲的形式存放已經標準化后的音視頻數據和描述信息。音視頻采集轉換器可以統一語料庫標準，方便后面流程處理。

3.1.1 音視頻主要來源

音視頻主要來源于音視頻設備、音視頻文件和音視頻流。具體說明如表2所示。

3.1.2 音視頻采集轉換器功能

采集轉換器的功能包括采集音視頻、轉換音視頻、存儲音視頻和異常處理。具體功能描述如表3所示。

3.1.3 音視頻采集轉換器邏輯流程

各種不同來源的音視頻進入音視頻分類器。分類器判斷音視頻來源、格式、碼率、幀率和分辨率等指標，并適配對應的音視頻采集器和轉換器進行處理。儲存器將處理完成的音視頻數據存入分布式存儲。異常處理模塊實時監控上述過程，對異常進行判斷，并選擇相應的處理流程。

3.2 預處理器

進行人工智能處理前，需為人工智能模型提供符合模型標準的數據。預處理器主要完成格式化和標準化人工智能模型或服務所需的數據。預處理器核心工作如表4所示。

當前人工智能服務處理音視頻還存在局限性。圖像識別和人臉識別服務只能處理圖片，所以需要將視頻進行分幀，并將關鍵幀提交給AI服務處理。視頻里很多幀的有效信息是重復的，如果每幀都提交給AI服務處理，會得到大量重復的結果信息，而且浪費運算資源。因此，需要在分幀的基礎上抽取有用的關鍵幀，將關鍵幀提交給AI服務處理。AI服務在識別音頻中的語音時，對提交的音頻大小是有限制的，所以需要將音頻切割成指定大小的音頻。

預處理器產生的主要原因是當前AI服務或模型對輸入參數的限制。隨著AI技術的發展和AI服務的不斷完善，AI服務對輸入參數的限制會越來越少，預處理器需要完成的工作也會隨之減少。

3.3 人工智能處理器

實現某個目的的音視頻檢索，需要多個AI服務的支持。AI服務處理的結果信息可能存在依賴關系，需要并行調用AI服務。在這種情況下，將人工智能處理器設計為并行的任務機制是有必要的。

3.3.1 人工智能處理器構成

人工智能處理器主要由配置器、任務隊列管理器和人工智能信息庫構成。

配置器的主要工作是創建檢索目的、任務和工作流，并配置它們的層級關系。一個檢索目的由一個或多個任務組成；一個任務又由一個或多個工作流組成。

標準工作流可描述為如下過程：配置預處理信息庫和人工智能信息庫；調用人工智能服務和輔助功能；處理預處理信息庫和人工智能信息庫數據，獲取結果信息，并將其存入人工智能信息庫。工作流可以理解為一個通過AI服務處理數據的工作單元。工作流由數據輸入、數據處理、數據輸出和數據存儲構成。

工作流最主要的任務是調用AI服務處理數據，調用AI服務需要了解AI服務的接口結構。人工智能接口主要由接口調用描述信息、接口輸入參數信息和接口輸出參數信息構成。人工智能服務接口調用描述如表5所示。

人工智能服務接口的輸入和輸出信息主要描述了AI服務需要處理的數據和處理后返回的數據。輸入參數的描述信息通常包括：參數名、參數類型、是否必需和可選值范圍等。

任務創建完成后，將交由任務隊列管理器運行。任務隊列管理器會依據目的、任務和工作流之間的依賴關系，依次運行相應的具體工作流。

人工智能信息庫是檢索的目標庫，保存了每個工作流執行完成后的結果信息，還保存了檢索最終信息與其依賴的工作流的結果信息之間的關系。

3.3.2 常用AI音視頻檢索功能

根據實際應用場景，本文總結了關鍵人或物體檢索、關鍵詞檢索和類似語句檢索3個常用檢索功能。

關鍵人或物體檢索功能查找視頻中需要檢索的人臉或物體，將視頻關鍵幀和需要識別的圖像輸入相似圖片搜索服務，服務返回圖像相似度、定位等信息。功能保存結果信息和關聯信息到人工信息庫。

關鍵詞檢索功能先將音頻通過語音識別服務轉換成文字，再從文字中查找需要檢索的關鍵詞。

類似語句檢索功能是在關鍵詞檢索功能的基礎上，將轉換成文字的內容與需要查詢的語句輸入語義相似度分析服務得到二者的相似度［5］。通過相似度判斷音頻是否包含需要查詢語句的語義。

3.4 檢索器和可視化交互界面

檢索器是人工智能處理器的用戶輸入端，用于向已配置好的人工智能處理器發送用戶輸入參數。可視化界面則是人工智能處理器的用戶輸出端，它以直觀的形式展示人工智能檢索后的結果和統計信息。檢索器和可視化交互界面是面向用戶的系統前端，為了使前后端解耦，系統采用前后端分離架構。

檢索器包括檢索項、檢索內容、檢索匹配方式、檢索項關系。檢索項是需要檢索的指標；檢索內容是指標的檢索內容；檢索匹配方式包含了檢索項與檢索內容之間的關系。如果是多項檢索，則有多個檢索項。檢索項關系描述了各檢索項之間的邏輯關系。

可視化交互界面主要分為檢索、統計和主顯示3個區域。檢索區域用于放置檢索器；統計區域用于顯示檢索后的統計圖表；主顯示區域顯示檢索后的音視頻概要信息。

4 系統架構設計

系統主要分為人工智能服務、處理器、信息庫和用戶界面4個部分。人工智能服務部分是處理器調用的外部人工智能服務接口的集合。如果需要調用各個廠商的服務，或者后期需要切換成不同廠商的服務，可以在人工智能服務與處理器之間添加人工智能服務適配器。適配器的作用是當智能服務發生變動時，處理器可以不做如何變動，直接調用需要的AI服務。適配器統一了處理器調用AI服務的標準。

處理器由采集轉換器、預處理器和AI處理器構成。它們是音視頻處理的3個階段，這3個階段分別創建了音視頻基礎庫、預處理信息庫和人工智能信息庫。

由檢索器和可視化交互界面構成的用戶界面，通過前后端分離架構，實現對信息庫的檢索和顯示。系統架構如圖1所示。

5 結語

本文以音視頻檢索系統為例，通過需求分析、功能設計和架構設計幾個方面闡述了關于如何使用和組織成熟AI服務和技術的方法，選擇合適的應用場景，發揮成熟人工智能服務和技術的作用，使其更好地服務于國家和人民。

參考文獻

［1］柴焱.視音頻AI技術在垂類媒資中的深度應用——以京視健康媒資系統建設為例［J］.現代電視技術，2022（1）：97-101.

［2］孫效華，張義文，侯璐，等.人工智能產品與服務體系研究綜述［J］.包裝工程，2020（10）：49-61.

［3］傅駿，傅馨竹，龍輝陽，等.百度AI人工智能輔助程序的開發實踐［J］.湖北農機化，2020（5）：179-180.

［4］任杰.人工智能技術在視頻應用中的發展——以中央廣播電視總臺應用為例［J］.演藝科技，2020（增刊1）：67-72.

［5］駱京.基于人工智能技術的內容識別系統設計［J］.現代電視技術，2018（7）：112-115.

Design of audio and video retrieval system based on mature AI services

Abstract： "The era of artificial intelligence has arrived， and new artificial intelligence algorithms， models and services are constantly being generated. How to make high-quality use of these mature artificial intelligence and give full play to its economic value is a problem that has to be considered. This paper selects the application scenarios of audio and video retrieval， and combines the use of artificial intelligence services to expound the demand analysis， functional design and system architecture of the audio and video retrieval system based on mature AI services.

Key words： artificial intelligence; audio and video retrieval; system design; artificial intelligence services