基于云計(jì)算的人工智能AIaaS 云服務(wù)平臺(tái)研究

苑學(xué)賀，楊永艷，龐帆，張宏偉

（北京中電普華信息技術(shù)有限公司，北京 100107）

隨著人工智能技術(shù)的發(fā)展，AI 智能服務(wù)及其產(chǎn)品在各行業(yè)和領(lǐng)域中應(yīng)用越發(fā)普及。對(duì)于如電力公司這類大型企業(yè)，由于安全性及專業(yè)性考慮，無法采用開放的互聯(lián)網(wǎng)AI 平臺(tái)、服務(wù)及產(chǎn)品。提出在主流云平臺(tái)Kubernetes(后文簡(jiǎn)稱K8S)容器框架基礎(chǔ)上，導(dǎo)入先進(jìn)的OpenVINO?Model Server 組件套件，構(gòu)建企業(yè)級(jí)的人工智能云服務(wù)平臺(tái)，充分利用云平臺(tái)良好的可擴(kuò)展能力，為企業(yè)用戶提供用戶體驗(yàn)更高的AI 服務(wù)及產(chǎn)品。研究成果以某省電力公司為研究對(duì)象，對(duì)企業(yè)現(xiàn)有AI 建設(shè)現(xiàn)狀及應(yīng)用情況開展調(diào)研；對(duì)人工智能服務(wù)平臺(tái)進(jìn)行規(guī)劃設(shè)計(jì)，并提出相關(guān)設(shè)計(jì)；對(duì)該平臺(tái)關(guān)鍵技術(shù)進(jìn)行了相關(guān)研究及論證，并通過測(cè)試驗(yàn)證了其先進(jìn)性。

1 應(yīng)用及技術(shù)現(xiàn)狀調(diào)研

人工智能技術(shù)及其相關(guān)產(chǎn)品在各行業(yè)及各領(lǐng)域近幾年陸續(xù)展開了較好的研究和應(yīng)用，已取得不俗的建設(shè)成效。以某省電力公司為例，經(jīng)文章作者實(shí)地調(diào)研，自2019 年至今，公司遵照《國家電網(wǎng)公司人工智能專項(xiàng)規(guī)劃》開展了企業(yè)級(jí)人工智能建設(shè)，并已建成系列AI 應(yīng)用系統(tǒng)或平臺(tái)，已建成的人工智能平臺(tái)包括不限于人工智能推理平臺(tái)、語音服務(wù)平臺(tái)、人臉識(shí)別平臺(tái)等，支撐的應(yīng)用主要包含五方面：1）完成通用卡證、通用票據(jù)和通用文字識(shí)別等通用OCR 的部署實(shí)施，支撐了財(cái)務(wù)部和后勤部的通用專用發(fā)票識(shí)別、加油小票識(shí)別和車輛表盤自動(dòng)識(shí)別；2）圖像識(shí)別方面，完成絕緣子模型和反違章模型部署，具備了支撐設(shè)備部輸電線路絕緣子識(shí)別和安檢部七類反違章識(shí)別能力；3）在智能語音方面，語音服務(wù)平臺(tái)已完成在線聽寫、在線轉(zhuǎn)寫等八類語音引擎，錄音轉(zhuǎn)寫和語義理解模型的部署，支撐了調(diào)控中心的智能客服建設(shè)；4）人臉識(shí)別方面，已完成1∶1、1∶N等人臉識(shí)別算法和模型部署，支撐了后勤門禁刷臉認(rèn)證，消費(fèi)人臉認(rèn)證等智能后勤業(yè)務(wù)使用；5）在流程機(jī)器人方面，通過RPA+AI 建設(shè)，實(shí)現(xiàn)了業(yè)務(wù)流程簡(jiǎn)化、電子化、可配置化，起到了基層減負(fù)的作用，支撐了各市/區(qū)縣公司的用電檢查數(shù)據(jù)統(tǒng)計(jì)和財(cái)務(wù)智能對(duì)賬等業(yè)務(wù)開展[1]。

但由于建設(shè)廠家不同，技術(shù)路線差異等原因，各專業(yè)人工智能算法模型采用不同的AI 技術(shù)框架構(gòu)建，模型的技術(shù)標(biāo)準(zhǔn)、管理規(guī)范、模型的存儲(chǔ)和運(yùn)行環(huán)境等各不相同，已建成的人工智能推理平臺(tái)、語音服務(wù)平臺(tái)、人臉識(shí)別平臺(tái)只能通過接口的方式提供服務(wù)，無法直觀的進(jìn)行功能展示，用戶體驗(yàn)較差[2]。讓人工智能更緊密的結(jié)合業(yè)務(wù)發(fā)展，進(jìn)一步提升用戶體驗(yàn)，為用戶提供更高效的人工智能服務(wù)能力，滿足日益增長(zhǎng)的業(yè)務(wù)需求，是該電力公司亟需開展的重點(diǎn)工作。同時(shí)，各人工智能平臺(tái)由各自承建團(tuán)隊(duì)研發(fā)建設(shè)、運(yùn)行維護(hù)，對(duì)不同模型及數(shù)據(jù)難以集約化管理，導(dǎo)致建設(shè)和運(yùn)維成本較高[3]。由此提出有必要建設(shè)人工智能服務(wù)平臺(tái)，通過云服務(wù)方式提供各類即席AI 服務(wù)發(fā)布、對(duì)各自模型和算法進(jìn)行規(guī)劃化、集約化管理，加深用戶對(duì)AI 產(chǎn)品的認(rèn)知和可信度，賦能業(yè)務(wù)發(fā)展。

隨著云計(jì)算、云平臺(tái)的技術(shù)發(fā)展，為上述問題提供了較好的技術(shù)解決方案。越來越多互聯(lián)網(wǎng)廠家采用云技術(shù)提供各自AI 服務(wù)和產(chǎn)品，將云作為人工智能在各行業(yè)落地部署及應(yīng)用發(fā)布的重要載體已成為主流趨勢(shì)[4]。AIaaS（AI as a Service）人工智能云服務(wù)平臺(tái)是目前主流的人工智能平臺(tái)的服務(wù)方式，類似于WordPress 中的博客有很多在線的插件，用戶可以根據(jù)自己的需要免費(fèi)或者付費(fèi)的方式下載并安裝自己需要的插件。國內(nèi)常見的互聯(lián)網(wǎng)公司如：阿里云、華為云、騰訊云、百度云皆有自己的人工智能服務(wù)平臺(tái)。文獻(xiàn)[5]介紹了IBM 公司在Cloud-AI 服務(wù)云上部署并發(fā)布了Watson Studio、Watson Machine Learning、及其他AI 服務(wù)，其中Watson Studio 用于構(gòu)建和培訓(xùn)AI 模型，準(zhǔn)備數(shù)據(jù)和對(duì)數(shù)據(jù)執(zhí)行分析；Watson Machine Learning 用于幫助數(shù)據(jù)研究員和開發(fā)人員共同努力，加速部署流程，并將AI 集成到應(yīng)用程序中。文獻(xiàn)[6]介紹了亞馬遜公司提供的人工智能云服務(wù)平臺(tái)，集成部署了Amazon Comprehend、Amazon Forecast、Amazon Len、Amazon Personalize 等AI 組件，通過AI 云發(fā)布提供的AI 服務(wù)包括圖像和視頻分析、自然語言、個(gè)性化建議、虛擬助手、智能預(yù)測(cè)等。

然而，上述互聯(lián)網(wǎng)的AI 云服務(wù)AIaaS 平臺(tái)及其AI 服務(wù)產(chǎn)品大都是成熟的普適性的商用套件，難以滿足企業(yè)級(jí)用戶實(shí)際的應(yīng)用及業(yè)務(wù)發(fā)展需要。同時(shí)，由于安全性、數(shù)據(jù)私密性考慮，大型國企難以直接應(yīng)用互聯(lián)網(wǎng)的商用AIaaS 平臺(tái)及其產(chǎn)品[7]。鑒于云計(jì)算的本源是虛擬化技術(shù)，容器技術(shù)是云虛擬化較好的實(shí)現(xiàn)方法，具有對(duì)CPU、內(nèi)存等系統(tǒng)資源占用少、啟動(dòng)快、可擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)，通過容器化技術(shù)將數(shù)據(jù)處理、AI 智能算法和模型部署在容器中，能夠較好地支撐各業(yè)務(wù)AI 應(yīng)用管理、部署和服務(wù)[8]。由此，提出采用開源的K8S 容器化技術(shù)，并導(dǎo)入集成OpenVINO ?Model Server 組件套件，搭建企業(yè)級(jí)AIaaS 人工智能云服務(wù)平臺(tái)，實(shí)現(xiàn)AI 模型和算法快速部署、集約化管理和共享發(fā)布。

2 平臺(tái)規(guī)劃及架構(gòu)設(shè)計(jì)

2.1 總體架構(gòu)

基于上述調(diào)研情況，提出的AIaaS 平臺(tái)需整合多種現(xiàn)有的主流機(jī)器學(xué)習(xí)計(jì)算框架，支持模型從數(shù)據(jù)集選擇、模型創(chuàng)建、訓(xùn)練及發(fā)布的全流程一站式管理，構(gòu)建面向電力企業(yè)業(yè)務(wù)領(lǐng)域的算法庫、模型庫及數(shù)據(jù)樣本庫[9]。如圖1 所示，總體架構(gòu)由基礎(chǔ)能力資源層、人工智能服務(wù)平臺(tái)層、人工智能應(yīng)用層三層構(gòu)成：基礎(chǔ)能力資源層為企業(yè)信息化建設(shè)提供所需的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等IDC 基礎(chǔ)資源；人工智能服務(wù)平臺(tái)層為人工智能服務(wù)、運(yùn)維、運(yùn)營(yíng)提供所需的能力組件及功能模塊；人工智能應(yīng)用層聚集AI 企業(yè)業(yè)務(wù)及其應(yīng)用，從人工智能服務(wù)平臺(tái)層調(diào)用所需的AI 產(chǎn)品或服務(wù)[10]。文章重點(diǎn)關(guān)注人工智能服務(wù)平臺(tái)層的構(gòu)建。

圖1 總體架構(gòu)設(shè)計(jì)圖

2.2 功能架構(gòu)

AIaaS 平臺(tái)功能架構(gòu)如圖2 所示，總體規(guī)劃包括數(shù)據(jù)管理、模型開發(fā)、平臺(tái)服務(wù)、運(yùn)營(yíng)管理、運(yùn)維管理、安全管理六大功能模塊集。

圖2 功能架構(gòu)設(shè)計(jì)圖

功能模塊設(shè)計(jì)說明如下：

1）數(shù)據(jù)管理，通過從數(shù)據(jù)中臺(tái)接入視頻、圖像、語音、文本等多類型業(yè)務(wù)數(shù)據(jù)，提供數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)存儲(chǔ)以用于模型訓(xùn)練數(shù)據(jù)準(zhǔn)備，并形成企業(yè)級(jí)樣本庫；

2）模型開發(fā)，實(shí)現(xiàn)模型的構(gòu)建、訓(xùn)練、迭代、發(fā)布，主要包括模型創(chuàng)建、模型訓(xùn)練、模型驗(yàn)證評(píng)價(jià)、算法模型庫管理、模型發(fā)布；

3）平臺(tái)服務(wù)，面向用戶或各類業(yè)務(wù)系統(tǒng)提供統(tǒng)一的機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理、知識(shí)圖譜、智能語音等應(yīng)用服務(wù)或接口服務(wù)；

4）運(yùn)營(yíng)管理，向運(yùn)營(yíng)人員提供服務(wù)管理、服務(wù)商店、應(yīng)用管理、接口管理等運(yùn)營(yíng)管理功能；

5）運(yùn)維管理，向運(yùn)維人員提供配置管理、資源管理、作業(yè)管理、日志管理、監(jiān)控告警、角色管理等運(yùn)行維護(hù)功能；

6）安全管理，解決平臺(tái)提供服務(wù)的過程中產(chǎn)生的諸如身份鑒別、訪問控制和數(shù)據(jù)隱私保護(hù)等安全問題，支持對(duì)訪問的終端及客戶端進(jìn)行認(rèn)證及操作日志安全審計(jì)等功能。

2.3 業(yè)務(wù)架構(gòu)

文中規(guī)劃的AIaaS 平臺(tái)具備兩大能力：1）模型和算法的集約化納管、部署，以減少部署和運(yùn)維成本；2）服務(wù)和產(chǎn)品的發(fā)布，提高用戶體驗(yàn)水平。業(yè)務(wù)架構(gòu)如圖3 所示，為支撐人工智能業(yè)務(wù)開展，AIaaS 平臺(tái)具備三大業(yè)務(wù)能力，具體包括即席服務(wù)、能力介紹和案例推廣。

圖3 業(yè)務(wù)架構(gòu)設(shè)計(jì)圖

業(yè)務(wù)架構(gòu)設(shè)計(jì)說明如下：

1）即席服務(wù)：作為統(tǒng)一的人工智能體驗(yàn)中心，通過人工智能即席服務(wù)，實(shí)現(xiàn)服務(wù)在線展示和在線試用能力，提供統(tǒng)一直觀的人工智能體驗(yàn)；

2）能力介紹：作為統(tǒng)一的能力展示中心，實(shí)現(xiàn)人工智能圖像、語音、RPA 等模型能力在線展示，用戶可以查看相關(guān)模型能力，并根據(jù)應(yīng)用需求進(jìn)行查詢，幫助用戶實(shí)現(xiàn)人工智能技術(shù)場(chǎng)景；

3）案列推廣：作為統(tǒng)一的方案分享中心，對(duì)已有的人工智能成功案列和場(chǎng)景進(jìn)行歸納總結(jié)，統(tǒng)一發(fā)布到應(yīng)用案例，供用戶進(jìn)行查看，幫助用戶學(xué)習(xí)和使用相似案例。

即席服務(wù)業(yè)務(wù)按服務(wù)對(duì)象分為業(yè)務(wù)類即席服務(wù)和公共類即席服務(wù)。對(duì)電力業(yè)務(wù)專屬性強(qiáng)的AI 服務(wù)歸屬于業(yè)務(wù)類即席服務(wù)，如視頻質(zhì)量監(jiān)測(cè)、安全生產(chǎn)智能監(jiān)控、智能信訪、智能審計(jì)、輸電線路智能監(jiān)拍等；其他公共類的即席服務(wù)包括人臉識(shí)別、通用文字識(shí)別、通用票據(jù)識(shí)別、通用卡證識(shí)別、出行類文字識(shí)別、語音識(shí)別等。

2.4 技術(shù)架構(gòu)

為支撐AIaaS 平臺(tái)建設(shè)，如圖4 所示，提出了平臺(tái)技術(shù)架構(gòu)圖，其由平臺(tái)層、模型層、展現(xiàn)層、應(yīng)用層構(gòu)成。

圖4 技術(shù)架構(gòu)設(shè)計(jì)圖

技術(shù)架構(gòu)設(shè)計(jì)說明如下：

1）平臺(tái)層可預(yù)置諸多開源模型及算法，如通用文字識(shí)別、人臉識(shí)別、語音語義等；

2）模型層主要是基于模型庫，為第三方供應(yīng)商提供模型統(tǒng)一管理、邏輯隔離的能力；

3）展現(xiàn)層基于平臺(tái)和模型層內(nèi)的行業(yè)算法，提供如資源視圖、可視化作業(yè)、智能檢索等能力；

4）應(yīng)用層主要依托于底層的人工智能能力，構(gòu)筑人工智能創(chuàng)新類應(yīng)用。

3 關(guān)鍵技術(shù)研究

3.1 Kubernetes（K8S）容器化框架

云計(jì)算的核心本質(zhì)是虛擬化技術(shù)，AIaaS 以云平臺(tái)為載體的進(jìn)行構(gòu)建。K8S 是基于容器的集群管理平臺(tái)，能高效管理更多的虛擬化節(jié)點(diǎn)，更適合構(gòu)建大型企業(yè)級(jí)企業(yè)平臺(tái)，其架構(gòu)如圖5 所示。

圖5 K8S架構(gòu)示意圖

Master 作為主節(jié)點(diǎn)負(fù)責(zé)多個(gè)業(yè)務(wù)節(jié)點(diǎn)Node 的調(diào)度管理。Node 作為工作節(jié)點(diǎn)，負(fù)責(zé)具體業(yè)務(wù)的處理，包含Pod、Service、Volume、Namespace、Lable 等組件。Master 作為主節(jié)點(diǎn)，管理并控制了多個(gè)Node 節(jié)點(diǎn)；在Node 節(jié)點(diǎn)上，Pod 組件作為被管理的最小單元，可部署多個(gè)Docker 容器，類似邏輯主機(jī)，每個(gè)Pod 分配單獨(dú)的IP 地址，可視為單獨(dú)的Linux 主機(jī)進(jìn)行系統(tǒng)部署應(yīng)用[11]。

3.2 K8S導(dǎo)入集成OpenVINO?Model Server

OpenVINO?Model Server 是英特爾公司推出的面向人工智能的組件套件，可基于英特爾架構(gòu)的強(qiáng)大算力，便捷、高效地完成AI 模型部署。組件架構(gòu)設(shè)計(jì)如圖6 所示，為支持AI 服務(wù)更好地發(fā)布和調(diào)用，設(shè)計(jì)了兩種標(biāo)準(zhǔn)API 接口gRPC、REST，可供用戶在本地或遠(yuǎn)程不同場(chǎng)景下調(diào)用，被調(diào)用的AI 服務(wù)及其模型被部署在容器內(nèi)的OpenVINO?Model Server 框架內(nèi)[12]。服務(wù)中的系統(tǒng)調(diào)度器接收到工作任務(wù)后，會(huì)把其分配給推理引擎，推理引擎一方面，會(huì)根據(jù)不同的基礎(chǔ)設(shè)施組件，如可擴(kuò)展處理器、服務(wù)器GPU、現(xiàn)場(chǎng)可編程門陣列（Field Programmable Gate Array，F(xiàn)PGA）等，調(diào)用其相對(duì)應(yīng)的設(shè)備優(yōu)化插件；另一方面，則會(huì)把經(jīng)過模型優(yōu)化器優(yōu)化轉(zhuǎn)換的中間表示文件（Intermediate Representation，IR）與設(shè)備優(yōu)化插件相結(jié)合，從而在容器中提供高性能推理服務(wù)，并在不同架構(gòu)硬件基礎(chǔ)設(shè)施上都能發(fā)揮出更高效能[13]。

圖6 OpenVINO?Model Server 架構(gòu)圖

在高性能開源K8S 容器平臺(tái)上導(dǎo)入并集成OpenVINO ?Model Server 組件設(shè)計(jì)方案如圖7 所示。在基礎(chǔ)設(shè)施架構(gòu)層，充分利舊現(xiàn)有的計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)產(chǎn)品，構(gòu)建數(shù)據(jù)中心基礎(chǔ)設(shè)施架構(gòu)，為用戶及其AI 服務(wù)提供強(qiáng)大的計(jì)算、存儲(chǔ)和數(shù)據(jù)傳輸能力；K8S 虛擬化層具備節(jié)點(diǎn)管理和調(diào)度能力，可充分利用基礎(chǔ)設(shè)施的資源能力，并具備較好的可擴(kuò)展性；AI服務(wù)層面向用戶，提供客戶多樣化場(chǎng)景的AI 服務(wù)調(diào)用，滿足AIaaS 平臺(tái)即席服務(wù)、能力介紹、案列推廣等業(yè)務(wù)場(chǎng)景和用戶需求[14]。

圖7 技術(shù)方案設(shè)計(jì)圖

提出的方案設(shè)計(jì)具備以下優(yōu)勢(shì)：1）實(shí)現(xiàn)了模型便捷部署和快速推理，較大降低了運(yùn)維成本；2）通過容器鏡像部署方式，避免了部署環(huán)境及框架約束，提高了橫向擴(kuò)展能力；3）標(biāo)準(zhǔn)化的API 調(diào)用訪問能力滿足了遠(yuǎn)端及近端多場(chǎng)景的調(diào)用需求，提高了AI 服務(wù)能力。

4 案例及測(cè)試

以輸電線路缺陷視覺智能檢測(cè)場(chǎng)景為例，可通過監(jiān)拍裝置或無人機(jī)應(yīng)用AI 模型對(duì)線路及桿塔缺陷進(jìn)行智能分析檢測(cè)[15]。基于AIaaS 平臺(tái)，工作流程包括數(shù)據(jù)采集、模型訓(xùn)練及模型推理階段。當(dāng)完成模型輸出后，即完成了模型的部署和案例發(fā)布；用戶可通過即席服務(wù)進(jìn)行服務(wù)調(diào)用，通過輸入現(xiàn)場(chǎng)采集的圖片，并選擇模型進(jìn)行調(diào)用及推理，最后輸出缺陷識(shí)別結(jié)果。依據(jù)模型對(duì)海量圖像、視頻內(nèi)容實(shí)施檢測(cè)的推理過程，是該服務(wù)輸出高效生產(chǎn)力的關(guān)鍵環(huán)節(jié)[16]。同類技術(shù)如TensorFlow、PyTorch等，其模型部署工具通常只與某個(gè)單一框架綁定，限制了方案可用性和擴(kuò)展性。

為驗(yàn)證AIaaS 平臺(tái)框架的實(shí)際表現(xiàn)，對(duì)其在輸電線路缺陷智能檢測(cè)場(chǎng)景中的應(yīng)用與TensorFlow 進(jìn)行了對(duì)比測(cè)試檢驗(yàn)，測(cè)試方案如下：1）測(cè)試場(chǎng)景：輸電線路缺陷智能識(shí)別；2）深度學(xué)習(xí)模型：MobileNetV2(BS=1)；3）測(cè)試組：K8S+OpenVINO?Model Serve21.1版本；對(duì)比組：TensorFlow Serving2.3.0 版本；4）測(cè)試標(biāo)準(zhǔn)：用戶并發(fā)數(shù)量。

測(cè)試結(jié)果如圖8 所示，TensorFlow 框架支持的并發(fā)用戶數(shù)為10個(gè)，而K8S+OpenVINO?Model Server框架為34個(gè)，同時(shí)并發(fā)客戶端的延時(shí)小于28 ms。

圖8 驗(yàn)證測(cè)試結(jié)果圖

實(shí)驗(yàn)結(jié)果表明，采用K8S+OpenVINO ?Model Server 框架構(gòu)建的AIaaS 平臺(tái)框架具備同類計(jì)算框架具備更好的性能，完全滿足實(shí)際生產(chǎn)業(yè)務(wù)的應(yīng)用需求。

5 結(jié)論

隨著人工智能結(jié)合生產(chǎn)業(yè)務(wù)的應(yīng)用推廣，將滿足不同場(chǎng)景的AI 模型進(jìn)行集約化部署管理，并提供用戶高質(zhì)量的用戶體驗(yàn)，是人工智能云服務(wù)的必要趨勢(shì)。針對(duì)人工智能云服務(wù)平臺(tái)進(jìn)行了業(yè)務(wù)和技術(shù)調(diào)研，進(jìn)行了業(yè)務(wù)規(guī)劃和架構(gòu)設(shè)計(jì)，并提出了一種通過將OpenVINO?Model Server 組件導(dǎo)入集成到K8S容器的框架設(shè)計(jì)，構(gòu)建了易部署、易維護(hù)的企業(yè)級(jí)AIaaS 云服務(wù)平臺(tái)，具備擴(kuò)展性強(qiáng)、服務(wù)能力好等特點(diǎn)。經(jīng)測(cè)試驗(yàn)證，其平臺(tái)性能高于同類技術(shù)框架，具備較好的技術(shù)先進(jìn)性和推廣性。后續(xù)將結(jié)合企業(yè)的安全性需要，從混合云角度考慮如何將外部的數(shù)據(jù)和模型進(jìn)行有效管理，從而提高其共建共享能力。