呂華章 陳 丹 范 斌 王友祥 烏云霄
(中國聯合網絡通信有限公司網絡技術研究院無線技術部 北京 100048) (lvhz7@chinaunicom.cn)
5G網絡與云計算、大數據、虛擬增強現實、人工智能等技術深度融合,將連接人和萬物,成為各行業數字化轉型的關鍵基礎設施.5G包括三大應用場景:增強移動寬帶(enhance mobile broadband, eMBB)、海量機器類通信(massive machine type of communication, mMTC)和超可靠低時延通信(ultra high reliability low delay communication, uRLLC).其中,eMBB聚焦對帶寬有極高需求的業務,例如超高清視頻、虛擬現實(virtual reality, VR)和增強現實(augmented reality, AR)等,滿足人們對于數字化生活的需求;mMTC聚焦對連接密度要求較高的業務,例如智慧城市、智慧農業、智能家居等,滿足人們對于數字化社會的需求;uRLLC聚焦對時延極其敏感的業務,例如自動駕駛、工業控制、遠程醫療等,滿足人們對于數字化工業的需求.其中一些諸如自動駕駛、遠程醫療、AR/VR等應用,對時延的要求均達到了毫秒級.而根據思科全球云指數的預估,到2019年,物聯網產生的數據的45%將在網絡邊緣存儲、處理、分析,而全球數據中心總數據流量預計將達到10.4澤字節(zettabyte,ZB)(1 ZB=270B).國際數據中心(International Data Corporation, IDC)最新統計報告顯示,到2020年將有超過500億的終端與設備聯網[1].
傳統的云計算模式,又稱為以云計算為核心的集中式數據處理,這種方式將數據傳輸到遠端的云計算中心,數據經過處理和分析后的結果再傳輸回用戶端.這種云計算中心具有較強的計算和存儲能力,云計算的能力也呈逐年線性增長.但是面對未來在網絡邊緣側產生的如此爆炸式增長的海量數據,當前傳統云計算模式將受到嚴重的挑戰.首先,這些海量數據均需要通過運營商的網絡回傳,并經過核心網處理,這對于當前運營商的傳輸網、核心網都是非常大的挑戰.未來海量數據的傳輸需要很大的帶寬,以目前現網的能力進行處理和傳輸極易造成擁塞;另一方面,海量數據的傳輸造成的時延也非常大,會極大的降低用戶體驗感.另外,對于海量數據傳輸的安全問題、終端能耗問題,也是不可忽視的.運營商的網絡短期內不會重新部署,因此,急需尋找一種更為合理的方式解決現有問題[2].
邊緣計算(edge computing, EC)是在靠近人、物或數據源頭的網絡邊緣側,融合網絡、計算、存儲、應用核心能力的新的網絡架構和開放平臺,就近提供邊緣智能服務,滿足行業數字化在敏捷聯接、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求.邊緣計算是一種近運算的概念,將運算更靠近數據源所在的本地區網內運算,盡可能地不用將數據回傳到云端,減少數據往返云端的等待時間和網絡成本.邊緣計算將密集型計算任務遷移到附近的網絡邊緣服務器,降低核心網和傳輸網的擁塞與負擔,減緩網絡帶寬壓力,實現較低時延,帶來較高帶寬,提高萬物互聯時代數據處理效率,同時能夠快速響應用戶請求并提升服務質量.
邊緣計算通過開放網絡能力與大數據、云計算平臺結合,使得第三方應用部署到網絡邊緣,是從扁平到邊緣及面向5G網絡架構演進的必然技術,同時也提供了一種新的生態系統和價值鏈.對于當前火熱的物聯網應用,特別是一些新興物聯網應用領域:如自動駕駛、無人機、AR/VR、智慧城市等,這些嶄新的應用非常強調對圖像、視頻的辨識和處理能力,或者對于網絡的低延時和高帶寬要求非常苛刻,幾乎要達到數十毫秒級別以內.傳統的回傳云端方式顯然已經無法滿足這種時延和帶寬要求,而邊緣計算則可以取代其成為未來解決這些新業務的重要方案.
對于邊緣計算的美好前景與廣泛應用,有關邊緣計算的標準化工作也逐漸受到各大標準化組織的關注.歐洲電信標準協會(European Telecommunications Standards Institute, ETSI)在2015年最先發布的邊緣計算白皮書[3],該白皮書的內容涉及到邊緣計算的定義、場景應用、平臺架構、使能技術以及部署方案等諸多內容.之后, ETSI正式啟動了邊緣計算標準化工作.截止到目前,ETSI已經提出了包括:邊緣計算平臺架構[4]、邊緣計算技術需求、邊緣計算應用程序接口(application program interface, API)接口準則[5-6]、邊緣計算應用(application, APP)使能等多個內容版本.目前,ETSI有關邊緣計算標準化工作的第1階段已經結束,第2階段的任務已經開展.
第三代合作伙伴計劃(3rd Generation Partnership Project, 3GPP)作為當前最重要的、影響力最大的標準化組織,也將邊緣計算列入未來5G時代的關鍵技術.在3GPP系統化架構(system architecture, SA)的標準化進程中[7-8],已經將邊緣計算的需求作為重要設計因素.目前,3GPP已經將未來基于控制面和用戶面分離(control and user plane separation, CUPS)的5G服務化架構寫入標準[9],同時給出了針對邊緣計算的流量疏導方案和業務連續性方案.由于3GPP的標準化工作主要針對網絡架構,因此將更加注重邊緣計算平臺和網絡架構設計這部分內容,對于具體的業務場景則不會做出規定.
中國通信標準化協會(China Communications Standards Association, CCSA),目前也已經接受了3家運營商關于邊緣計算的立項和研究課題[10-12].主要研究邊緣計算的應用場景、平臺架構、API接口的定義等內容.其中工業互聯網組在2017年8月份新增有關邊緣計算在工業互聯網中的應用立項,邊緣計算涉及的應用層面也擴展到了工業中[13-14].
作為國內3家運營商之一,中國聯通積極參與邊緣計算的研究工作,布局邊緣云的建設.中國聯通在2017年6月份發布了邊緣計算白皮書,定義了中國聯通對邊緣計算平臺的能力和應用場景需求,給出了中國聯通4G網絡、5G網絡邊緣計算的部署策略、建議和演進規劃.同期,中國聯通在2017年上海通信展上,推出了梅賽德斯奔馳中心智慧場館邊緣計算試點,該試點主要解決了場館內多路視頻調度和分發的實現.場館內的授權用戶可以快速地在多個直播鏡頭之間無縫切換,同時終端直播的時延很低,幾乎與現場直播同步.2017年11月16日中國國際高新技術成果交易會(簡稱高交會)在深圳會展中心拉開帷幕,中國聯通攜手HPE、星耀科技、INTEL,XJERA LABS,日輝趣停、NVIDIA,H3C匠心打造“邊緣云(edge-cloud, EC)+智能安防”商用部署解決方案,可實現表情識別、行為檢測、軌跡跟蹤、熱點管理、體態屬性識別等多種本地人工智能典型應用.目前,中國聯通還同設備商、軟件開發商、芯片廠商一道,在多個重點城市部署邊緣計算試點網絡,重點實現智慧校園、智慧場館、安防監控等多個樣板網絡的建設.未來,中國聯通不僅需要提升管道和連接能力,還需要與設備商、內容提供商、互聯網應用提供商(over the top, OTT)、軟件開發商等密切合作,打破豎井模式,提供端到端應用解決方案,增強用戶粘性,促進整個邊緣計算產業鏈發展.中國聯通已經走在了邊緣計算發展的前線,未來將謀劃并布局未來5G邊緣云的建設.
ETSI最先發布了邊緣計算白皮書:Mobile-Edge Computing-Introductory Technical White Paper.這篇白皮書的主要目的是介紹邊緣計算的概念和相關的關鍵市場驅動因素,并討論該技術所提供的業務、消費者和技術價值/收益.白皮書討論了邊緣計算的促進因素、需求和挑戰,以及未來邊緣計算的發展計劃和目標.本文嘗試給出了邊緣計算平臺的大致結構圖,并對結構的各個部分進行功能分析,為未來的邊緣計算標準化工作打下了基礎.本文將對其中的關鍵性內容進行概括總結,同時也對白皮書中的部分內容進行解讀.
當今智能終端成功的推廣和持續增長的流量,使得IT行業和電信行業正在不斷深刻地融合,這帶來了新的機遇,同時也能夠帶來部署在網絡端的能力.邊緣計算或多接入邊緣計算(multi-access edge computing, MEC)就是在無線接入網(radio access network,RAN)內提供信息技術(information tech-nology, IT)和云計算的能力,并與移動端非常的靠近.因此,邊緣計算就是一種將云計算能力下沉到靠近用戶端的網絡邊緣的一種技術.邊緣計算可以視為一個云服務器,在移動網絡邊緣側運行,同時執行特定的任務,這些任務是不能在傳統的網絡基礎設施中完成的.
邊緣計算的特點可以歸納為5個方面:
1) 本地化.邊緣的概念其實就是指本地化,所以邊緣計算平臺是可以獨立于剩余的網絡部分,這一平臺可以隨時獲取本地資源;
2) 鄰近.靠近源信息,邊緣計算由于靠近用戶端,對于捕捉一些關鍵信息很有幫助,這些信息可用于大數據分析,比如用戶流量的統計、用戶位置信息的跟蹤定位等等;
3) 低時延.邊緣服務在靠近端設備的地方運行,由于不經過核心網到達遠端集中計算中心,因此很明顯地降低了時延.因此,提升了響應間隔,提升用戶體驗,還能夠最小化網絡的擁塞;
4) 位置感知.網絡邊緣也是無線網絡的一部分,本地服務可以利用低能級的信號來判定每個連接到網絡中的設備位置;
5) 網絡內容信息.這里主要針對的是實時網絡數據,比如:用戶端所處的無線環境、一些網絡統計信息等等,這些都可以被應用程序和一些定制的服務所使用來提供上下文相關的服務,以此對網絡實時信息進行有效掌握.
從業務和技術效益的角度來看,邊緣計算提供了新的生態系統和價值鏈,不論是運營商、設備商還是軟件開發商等,所有各方均能夠參與其中,同時借助邊緣計算的新平臺,也可以發展全新的業務模型,從中獲益.
對于移動網絡運營商而言:他們可以快速部署新的服務給用戶和企業.在改進用戶終端體驗質量(quality of experience, QoE)的同時,也能夠從創新業務中增加新的收益來源,適時地向用戶提供豐富的服務和全新的服務類別.另外從成本來講,就是減少對核心網數據量的負擔,同時降低了運營商的運營成本(與在核心網側相比).另外,運營商購買了服務器和硬件資源,通過搭建邊緣計算平臺,還可以將邊緣計算平臺上的資源,提供給第三方進行租用.通過對資源進行收費(比如存儲、帶寬、中央處理器等等),從而獲得一定的經濟利益.
而對于軟件和應用程序開發商來說,他們可以針對不同的用戶群體,推出新服務和新的應用程序來服務用戶.邊緣計算平臺的低時延、高帶寬特性,可以讓第三方開發商部署特定的更加針對于用戶端的業務,包括:定制的位置跟蹤業務、視頻優化、游戲優化、智能停車等.同時,開發商還能夠不斷地通過用戶端獲取大量的無線網絡條件以及統計信息,有助于他們對產品和業務不斷進行快速而低成本的革新與升級.
邊緣計算的使能技術主要包括3個方面:云與虛擬化、大容量的服務器、啟用應用程序和服務生態系統.
1) 云與虛擬化.硬件和軟件的分離以及基于云的解決方案的實現,在過去的10年中改變了IT行業.這種轉變通過使用監管程序使得APP、軟件平臺與下層的硬件資源成功地解耦.在一個平臺上,我們可以部署多個虛擬機,讓他們以一定受控的、靈活的方式來共享硬件資源.云解決方案就是利用了這些技術,按需提供計算和存儲資源,在網絡和服務部署方面更加具有靈活性.目前,云和虛擬化技術已經被電信云和網絡功能虛擬化(network function visualization, NFV)所利用.他們正在改變通信行業過去10年IT產業轉型的方式,同時也是邊緣計算的關鍵技術.
2) 大容量服務器.從大方面講,指的就是硬件水平.由于邊緣計算就是將集中式的云計算搬移到了網絡邊緣處,所以邊緣計算對服務器性能的依賴仍然是不能忽視的.高容量的IT硬件可以促進邊緣計算的商業成功.比如大容量的服務器,涵蓋幾乎涉及計算機部件的各個方面,比如大容量的存儲(從TB級機械硬盤到固態硬盤的轉變)、多核中央處理器(central processing unit,CPU)、圖形處理器(graphics processing unit, GPU)的使用、10Gbps/100Gbps交換機等等,這些可以保證服務器高效、穩定的工作,因為未來在網絡邊緣側的數據量可以達到ZB級別,這對服務器的硬件要求是非常大的.
3) 啟用應用程序和服務生態系統.如果說云和虛擬化技術以及對服務器性能的依賴都是邊緣計算的硬要求,那么要想讓整個邊緣計算產業鏈更加繁榮,則需要軟件和應用程序供應商開發并引入市場創新和突破性的服務和應用程序.畢竟邊緣計算只是一個部署在網絡邊緣的面向用戶的平臺,任何功能的實現都離不開APP的開放和創新業務的部署.使用開放標準和API以及熟悉的編程模型、相關的工具鏈和軟件開發工具包是鼓勵和加快開發新前沿應用程序或適應現有應用程序的關鍵支柱.
目前,邊緣計算服務器均為獨立設備.白皮書中簡要地給出了邊緣計算的部署建議,如圖1所示.MEC服務器作為一個單獨的設備可以部署在長期演進(long term evolution, LTE)的基站側、可以部署在小區站點(可以是3G也可以是LTE)、也可以部署在無線網絡控制器(radio network controller, RNC)處,位置非常靈活.想要決定MEC服務器部署的具體位置,還需要根據具體的業務類型、業務場景來決定.

Fig. 1 Deployment scenarios of the Mobile-edge Computing server圖1 MEC服務器部署場景[3]
在白皮書中,對邊緣計算的架構給出了一個大致的描繪,圖2中展示了平臺各部分的功能和組成情況.邊緣計算的關鍵就在于將IT服務器與RAN側的部分進行整合,MEC服務器用于提供計算資源、存儲空間、連接以及相關無線網絡的實時信息等等.在后續的ETSI的標準化介紹中,會有對平臺細節的詳細說明.
MEC服務器平臺主要由3部分組成:主機平臺、應用平臺以及APP管理平臺.
1) MEC主機平臺主要是MEC的硬件資源與MEC虛擬層.硬件資源包括:CPU,GPU、硬盤(機械硬盤或固態硬盤)、交換機、網卡等.虛擬層對來自所有x86指令進行截獲,執行“仿真操作”.這種虛擬層就是介于硬件平臺和上層(即現在的操作系統)之間的中間附加層,好處是有了監管和仿真環境,壞處是帶來了性能上的損失.但是隨著計算虛擬化的進一步普及,從物理機平臺遷移到虛擬化平臺之上是一個趨勢.
而MEC應用平臺提供了托管應用程序的功能,并由應用程序的虛擬化管理器和應用程序平臺服務組成.虛擬化管理通過提供基礎設施作為服務(infrastructure as a service, IaaS)設施,虛擬化管理器支持靈活、高效、多租戶、運行和托管環境.IaaS控制器為應用程序和平臺提供了一個安全和資源沙箱,虛擬設備應用程序運行在IaaS之上,并作為包裝-操作系統虛擬機(visual machine, VM)映像交付,允許實現完全自由的部署.

Fig. 2 MEC server platform overview 圖2 MEC服務器平臺總覽[3]
2) MEC應用平臺為在MEC平臺上駐留的應用程序(也稱托管在MEC服務器上的APP)提供一組中間件應用程序服務和基礎設施服務,主要包括:
① 基礎設施服務.主要分為通信類服務和服務注冊.MEC服務器中的應用程序和服務之間的通信是根據面向服務的體系結構(service oriented architecture, SOA)的原則設計的.
② 無線網絡信息服務(radio network information services, RNIS).移動端計算允許云應用程序服務與移動網絡元素一起托管,同時也有助于利用可用的實時網絡和無線信息.MEC RNIS提供給授權的應用程序低級無線電和網絡信息,包括:小區ID、移動端的位置信息、小區負載情況以及吞吐率等.未來的邊緣計算中,可提供的無線網絡信息將更為多樣化.
③ 流量卸載功能(traffic offload function, TOF).TOF服務可以將選定的、基于策略的、用戶數據流路由到被授權接收數據的應用程序中.流量卸載功能,簡而言之就是流量的分流,把一些屬于本地的或者面向網絡邊緣側的流量,疏導并卸載到邊緣計算平臺,再做處理.
3) 對于MEC APP管理平臺,還提供了一個管理接口,用于運營商來管理該平臺,同時對托管在MEC平臺上的APP和服務的生存周期、可操作性進行管理.這種管理接口與APP本身無關,主要支持的功能有:對應用平臺的管理配置、管理APP的生存周期、VM的操作與管理.
① 對應用平臺的配置管理.應用程序平臺的配置管理提供了一種打包應用程序的標準方法.它包括應用程序的描述符以及與計算、存儲和網絡資源和配置相關的VM級別的系統屬性.APP打包封裝的主要目的是為了解決多供應商MEC平臺上的虛擬設備的可移植性和部署問題,并確保軟件的完整性保護.
② APP生存周期.MEC應用平臺管理接口,可以讓運營商來管理APP的生存周期,包括APP的部署、APP的開始工作、結束工作以及解除部署等等.
③ 虛擬機的操作和管理.MEC應用平臺管理接口支持虛擬機級別的故障管理和性能測量.虛擬機的性能對托管在其上的APP的工作影響非常大.
在白皮書中,給出了未來邊緣計算可以應用的場景.目前很多的應用場景已經可以實現.在此僅對視頻分析、內容優化以及定位技術場景進行分析.
1) 定位技術
圖3展示了位置跟蹤的樣例.通過運行在MEC平臺上的全球定位系統(global position system, GPS)或者第三方定位技術,獲取人或物體的位置.然后如有必要,在返回到核心網側.這種布置在本地的定位功能,對于零售商、場館、球場、校園或者特定地區非常有效,首先位置反饋非常迅速,其次精度也得到了保證.
2) 視頻分析
圖4展示了視頻分析的示例.以監控為例,目前攝像頭的使用非常廣泛,在停車場、交通要道、住宅小區、校園中基本都能實現無縫對接和無死角監控.隨著部署的攝像頭數目的增加以及攝像頭所拍攝的視頻質量的提升,監控視頻的數據量也是逐漸提升.如果把如此龐大的視頻數據都回傳經核心網至集中云平臺進行視頻分析和處理,往返時延將非常大.而如果在攝像機內部部署智能分析工具,則會因為攝像頭自身設計尺寸等原因,很難部署這些功能.因此,比較好的解決辦法就是在本地MEC平臺部署視頻分析APP.某區域內的攝像頭將其錄制的監控視頻上傳至MEC平臺,經過視頻分析處理后,獲得的結果可以隨時調取并回傳至核心網.2017年11月深圳高交會上展示的中國聯通基于邊緣云的智能安防商用部署解決方案,就是將人工智能(artificial intelligence, AI)視頻分析功能部署在邊緣云,大幅度提升了結果處理和傳送的時間.

Fig. 3 Example of active device location tracking圖3 設備位置跟蹤示例[3]

Fig. 4 Example of video analytics圖4 視頻分析示例[3]

Fig. 5 Example of RAN-aware content optimization 圖5 基于RAN側感知的內容優化案例[3]
3) 內容優化與緩存
圖5中給出了基于RAN側感知的內容優化舉例.內容優化指的是根據網絡提供的信息,比如小區ID、小區負載、鏈路質量、數據吞吐率等,對內容進行動態的優化,以提升QoE,網絡效率.而視頻緩存,則是在終端請求視頻播放時,該資源可能存在于本地MEC平臺,這樣再播放時就是從本地下載視頻資源,節省了帶寬和經過核心網處理的時間.這種視頻緩存功能對于那些熱播電視劇、熱播電影以及最近的綜藝節目的播放與觀看,有很大的幫助.同時,該模型也比較適用于大學城、居民區或者熱點商圈這些人流密集、對視頻播放請求比較大的地區.
在ETSI GS MEC 003協議中,提出了基于NFV架構的邊緣計算的參考架構.該參考架構,可以讓托管在邊緣計算平臺上的APP高效并無縫地運行在移動網中.對于架構中的參考點與功能模塊,ETSI在該協議中也給出相應的定義.注:目前ETSI已經將移動邊緣計算改為多接入邊緣計算.
邊緣計算架構主要可以分為3級:系統層、主機層、網絡層,如圖6所示.該參考架構中展示了MEC的功能要素和每個功能要素之間的參考節點.
移動邊緣主機是一個包含移動邊緣平臺和虛擬化基礎設施的實體.
虛擬化基礎設施可以提供計算、存儲和網絡資源,這些能力可以用于移動邊緣APP的運行.虛擬化基礎設施包含一個數據平面,該平面可以執行移動邊緣平臺收到的流量規則,并在APP、服務、域名服務器(domain name server, DNS)、3GPP網絡、本地網和外部網絡之間進行流量轉發和路由.

Fig. 6 Mobile edge computing framework圖6 移動邊緣計算架構[4]
1) 移動邊緣平臺的主要功能有5項:
① 給APP提供環境,用于發現、通知、消費和提供移動邊緣服務.移動邊緣服務涵蓋的內容非常龐大,但是總結起來主要包括:無線網絡信息的獲取、定位功能以及帶寬管理.
② 接收來自移動端平臺管理器、應用程序或服務的流量規則,并相應地指示數據平面執行一些操作.同時,也可以將代表UE的令牌環轉換成流量規則中特點的IP地址.
③ 從移動邊緣平臺管理當中獲取DNS記錄,同時配置相應的DNS代理/服務器.
④ 提供移動端服務,可能包括的服務有:無線網絡信息獲取、相關的定位信息以及帶寬管理等等.
⑤ 提供對持久性存儲和時間信息的訪問.
2) 除了虛擬化基礎設施和移動邊緣平臺以外,移動邊緣主機中還包括了移動邊緣APP.APP運行在移動邊緣主機提供的虛擬化基礎設施的虛擬機上,并提供移動邊緣服務.APP可以同移動邊緣平臺之間交互,執行相應的APP生存周期相關操作的支持,包括:指示可用性、準備用戶狀態的重定位等.
移動邊緣APP還有很多一系列的規則和需求,比如對資源、最大時延、所需服務等的要求.這些需求要被移動邊緣系統級管理所驗證.APP可以由第三方廠商開發并提供,也可以是平臺提供方自身的APP.如果是第三方的APP,運營在平臺的虛擬機上涉及到平臺能力開放和交互等問題.如圖7中展示了ETSI所定義的邊緣計算系統參考架構,其中,管理(management, mgmt)、需求(requests, reqts).

Fig. 7 Mobile edge system reference architecture圖7 移動邊緣系統參考架構[4]
移動邊緣系統級管理部分主要包括3個功能模塊:移動邊緣編排器(mobile edge orchestrator, MEO)、運營支撐系統(operation support system, OSS)以及用戶APP生存周期管理(lifecycle man-agement, LCM)代理.圖8中展示了這3個模塊.

Fig. 8 Mobile edge system level圖8 移動邊緣系統級[4]
1) 移動邊緣編排器
移動邊緣編排器是移動邊緣系統級管理的核心功能,主要負責5項功能:
① 基于部署的移動端主機,編排器能夠對移動端系統的整體進行維護和保養,維護和保養的內容包括:可用的資源、可用的移動邊緣服務以及網絡拓撲等等;
② 加載APP的數據包,包括:檢查數據包的完整性和真實性,驗證APP規則和需求,對加載的數據包進行記錄,同時準備相應的虛擬化基礎設施管理來處理這些APP.
③ 選擇合適的移動邊緣主機用于APP的實例化,這一過程有一定的限制條件,比如:時延、可用資源以及可用服務等.
④ 觸發APP實例化和終止.
⑤ 當支持重置功能時,可觸發APP的重置.
2) 運營支撐系統
運營支撐系統,一般就是運營商的OSS.OSS通過面向用戶的服務(customer-facing services, CFS)和用戶設備(user equipment, UE)的APP來獲取請求,用于實例化或終止APP.同時,還要在這些請求上做出決定與授權.被授權的請求將遞交給移動邊緣編排器做進一步的處理.
這里要提一點,如果支持的話,OSS也可以從UE的APP中獲取請求,用于在外部云和移動邊緣系統之間進行APP的重新部署.
3) 用戶APP生存周期管理代理
用戶APP是一個移動邊緣APP,它在移動邊緣系統中實例化,經由一個運行在UE上的APP來響應用戶的請求.
用戶APP的生存周期管理代理,可以讓UE的APP來請求一個用戶APP的加載、實例化和終止.也可以支持用戶APP在移動邊緣系統內部或外部的重新部署.對于用戶APP的狀態情況,也可以通知UE的APP.另外,用戶APP生存周期管理代理,授權來自UE應用程序中的請求,同時和OSS、移動邊緣編排器進行交互,用于對這些請求的進一步處理.
用戶APP生存周期管理代理只能在移動網絡內部才能訪問,也只有在移動邊緣系統的支持下才可以使用.
4) 用戶APP和面向用戶的服務
在圖8中,還包括了用戶APP與面向用戶的服務2項內容.用戶APP就是指那些能夠通過用戶APP生存管理代理來和移動邊緣系統進行交互的APP.
而面向用戶的服務,可以允許運營商的第三方的客戶(比如一些商業團體),讓他們來選擇并訂購一組滿足特定需求的移動邊緣應用程序,同時從供應的應用程序接收到服務級別的信息.
邊緣計算主機級管理主要包括:移動邊緣平臺管理和虛擬化基礎設施管理2部分:
1) 移動邊緣平臺管理器.主要負責:
① APP的生存周期管理,包括通知移動邊緣編排器有關APP的相關事件;
② 給移動邊緣平臺提供每個模塊的管理功能;
③ 管理APP規則和需求,這包括服務授權、流量規則、DNS配置以及處理一些沖突等.
移動端平臺管理器還接收到從虛擬化基礎設施管理器發來的虛擬化資源故障報告以及性能測量報告,這部分信息可以用于進一步的處理.
2) 虛擬化基礎設施管理器.主要負責有關虛擬化資源的分配、釋放等功能,具體為:
① 分配、管理和釋放虛擬化基礎設施的虛擬化(計算、存儲和網絡)資源;
② 準備虛擬化基礎設施來運行軟件映像.這一準備過程包括:配置基礎設施,也包括接收和存儲軟件映像;
③ 可以快速提供APP(如果支持的話);
④ 收集并上報有關虛擬資源的性能和錯誤信息;
⑤ 如果支持的話,可執行APP重新部署.對于APP在外部云的重新部署,虛擬化資源管理器將和外部云管理器進行交互,以執行APP的重新部署.
圖9中展示了移動邊緣平臺管理和虛擬化基礎設施管理模塊.有關虛擬化基礎設施管理的問題,還可以參考ETSI GS NFV 002協議,這里覆蓋了很多有關虛擬化資源管理的問題.

Fig. 9 Mobile edge host level 圖9 移動邊緣主機級[4]
在邊緣計算框架內,每個功能模塊之間都要通過相應的接口來進行交互.結合圖7中所示的參考架構,主要的參考節點可以分為:與移動邊緣平臺相關的參考點、與移動邊緣管理器相關的參考節點以及與外部實體相關的參考節點3個部分.我們僅對Mp1,Mm1,Mm3和Mm5這4個比較重要的接口進行說明.
1) 與移動邊緣平臺相關的參考節點
Mp1參考點是在移動邊緣平臺和移動邊緣APP之間,提供服務注冊、服務發現和用于服務的通信支持.該參考點也提供其他一些功能,比如:APP可用性、會話狀態遷移支持、流量規則和DNS規則激活、訪問永久存儲單元和當前時刻信息等等.這個引用點可以用于消費和提供特定服務的功能.
Mp1節點是最為重要的節點,該節點是移動邊緣APP同移動邊緣平臺交互的關鍵路徑,如果APP無法同移動邊緣平臺交互,就無法部署在邊緣平臺上,也就無法實現邊緣計算最主要的功能.
2) 與移動邊緣管理相關的參考節點
Mm1參考節點位于MEO和OSS之間,用于觸發移動邊緣系統中的移動端應用程序的實例化和終止.
Mm3參考節點位于移動邊緣編排器和移動邊緣平臺管理器之間,用于管理APP的生存周期、APP的法則以及需求,同時跟蹤可用的移動邊緣服務.
Mm5參考節點位于移動邊緣平臺管理器和移動邊緣平臺之間,用于執行平臺配置、APP規則和需求的配置、APP生存周期支持進程、APP重配的管理等等.這一接口是非常重要的接口,移動邊緣平臺管理器將對移動邊緣平臺進行直接的管控.
2016年,ETSI發布了與MEC相關的3分技術規范,分別涉及MEC術語、技術需求及用例、MEC框架與參考架構.第1份規范GS MEC 001,主要針對MEC的術語進行規范化,涵蓋了MEC的概念、架構、功能單元的相關術語問題;第2份規范GS MEC 002給出了MEC在平臺互通和部署方面的技術要求,并給出了相關的用例;第3份規范GS MEC 003提供了MEC的參考架構、定義的接口、功能單元和模塊.如圖10所示,展示了ETSI到2017年年底的標準化進展情況.

Fig. 10 Standardization status of MEC in ETSI圖10 ETSI邊緣計算標準化進展
此外,ETSI還定義了有關MEC的諸多服務場景(GS MEC-IEG 004),MEC服務框架的說明(GS MEC-IEG 005)以及MEC的市場驅動力和指標分析(GS MEC-IEG 006)的內容.
截止到目前,MEC ISG階段1(2015年至2017年年底)的標準化工作已經結束并凍結,所完成的標準化內容除了上述的以外,在2017年10月份,還最新完成了一些標準,包括5項內容:
1) 發布了首套標準化應用程序接口,以支持邊緣計算的互操作性.涉及到的5個ETSI的規范,分別是GS MEC 009(API準則)、GS MEC 010-2(LCM規則與需求)、GS MEC 011(APP使能)、GS MEC 012(無線網絡信息API)與GS MEC 013(定位API),將接近移動邊緣服務API、應用程序生命周期管理、移動邊緣平臺應用程序啟用、無線網絡信息的API和定位API;
2) 完成了GS MEC 010-1部分,該部分屬于MEC管理的part1部分,主要介紹了MEC中的系統主機和平臺管理.包括平臺配置、性能和故障管理、應用程序監視、遠程服務配置和服務控制、關于平臺特性的信息收集、可用的服務和可用的虛擬化資源;
3) 完成了GS MEC 015部分,該部分主要對帶寬管理API部分進行了標準化,它描述了相關的應用程序策略信息,包括授權和訪問控制、信息流、所需的信息和服務聚合模式等內容;
4) 完成了GS MEC 016部分,該部分主要對UE APP的接口進行標準化,并包括了UE APP的生存周期的管理.涵蓋了以下的生命周期管理操作:用戶應用程序查找、用戶應用程序實例化請求和用戶應用程序終止請求;
5) 已經完成的研究報告(group report, GR)GR MEC 018主要介紹MEC支持端到端移動性的問題.該報告記載了移動用例和結束信息流來支持移動邊緣計算的UE和應用程序遷移的內容.同時,當前文檔描述了新的移動邊緣服務或接口以及對現有的移動邊緣服務或接口、數據模型、應用程序規則和需求的更改.
ETSI有關MEC的標準化已經進入第2階段,未來第2階段將主要對之前所定的標準化內容進行一定的修改和更新,比如:GS MEC 001中更新一些MEC術語,在GS MEC 002中提出一些新的MEC技術需求以及在API和MEC架構方面補充新內容.另外,第2階段還將針對開放API的內容進行標準化.
ETSI作為邊緣計算標準化的先行者,不僅創造性地預言了當前邊緣計算產業的繁榮,同時也在全球范圍內最先給出邊緣計算架構,具有非常強大的指導意義.當前圍繞邊緣計算架構的討論基本都是圍繞ETSI所提標準所展開.但是ETSI作為歐洲的標準化組織,其影響力同3GPP這類國際組織相比還稍有遜色.ETSI所制定的標準更多地著眼IT領域,而缺乏對網絡架構的認知,導致邊緣計算如何同現網LTE和未來5G網絡架構相結合的問題一直沒有討論.邊緣計算作為運營商轉型的關鍵技術,如果不和網絡架構相聯系,不把運營商的組網架構考慮進來,那么其影響力必然大打折扣.另外,目前的一些設備廠商包括華為、中興、諾基亞等所生產的面向邊緣計算的設備,雖然也部分參考了ETSI所提出的邊緣計算架構,但是大多接口和平臺建設均由設備商自行定義,設備平臺之間基本無法互通.ETSI開啟標準化進程已經2年有余,但是產業內對于標準的落實情況卻極為不佳,依舊是設備商各行其是的狀態.設備商根據其固有的技術能力和影響力,產出的設備基本圍繞自身能力而定,忽視標準中所希望達到的平臺互通和解耦開放等愿景,導致邊緣計算產業依然非常封閉.最后,標準的制定也沒有激活產業界在邊緣計算上的活力,沒能將更多的企業拉入邊緣計算產業,運營商在邊緣計算設備的選用和平臺的搭建方面也極為受限于設備商,嚴重影響了邊緣計算業務的落實和產業化的腳步.因此,未來如何推動ETSI標準化的強制執行也是重要的內容.
在2017年6月的3GPP CT第76次會議上,3GPP完成了R14中的CUPS標準,即“EPC用戶平面與控制平面相分離的技術標準”.該協議,即23.214協議中,提出了面向分組核心網(evolved packet core, EPC)里的服務網關(servicing gateway, S-GW)、分組數據網網關(packet data network gate-way, P-GW)以及流量檢測功能(traffic detection function, TDF)的功能分離.首先是提供了增強型的架構.其次是實現了在不影響現有節點功能的前提下,用戶面功能與控制面功能各自的獨立伸縮/擴展部署(集中式部署或者分布式部署),進而實現EPC靈活部署與運營.
之所以考慮將用戶面與控制面分離,最主要的原因是未來5G網絡中,數據流量高速增長,這對于移動通信網的承載能力提出了很高的要求,也就是對時延的要求更為嚴格.而核心網采用了這種用戶面控制面分離的技術后,可以降低移動應用服務的時延,比如我們可以選擇靠近4G/5G基站的EPC用戶平面節點或者更適合移動終端使用類型的EPC用戶平面節點來向移動終端傳輸數據.相比于原來將用戶面和控制面合設的結構,這種分離的結構更為靈活,也能夠降低時延.這種架構是未來5G通信中的關鍵架構之一,圖11給出了3GPP所定義的參考架構.
1) 用戶面和控制面分離架構示意圖
圖11中展示了S-GW,P-GW,TDF的CP/UP模塊分別獨立的情況.U表示用戶面,C表示控制面.
同沒有進行控制面/用戶面(control plane/user plane, CP/UP)面分離的架構相比,S-GW,P-GW,TDF均分離成用戶面和控制,其次,是接口發生的變化.
① CP/UP之間增加Sx接口:S-GW,P-GW,TDF,各自有自己的Sx接口;
② 原有接口會因為CP,UP的分離,出現接口分離:S2a變為S2a-U和S2a-C,控制接口和用戶接口;
③ 有些接口沒有出現功能分化,屬于完全繼承了原有未分離結構的接口功能,比如:S12接口完全由S-GW-U來繼承;Gx,Gy,Gz,Gw,SGi接口,功能完全被P-GW-C繼承(P-GW-U和TDF-U之間)等等;

Fig. 11 Architecture reference model with separation of user plane and control plane for non-roaming and roaming scenarios圖11 漫游與非漫游型,用戶面和控制面分離參考架構[9]
另外,圖11展示了一種特例,即:S-GW,P-GW,TDF均發生CP/UP分離,其實也可能存在如下的組合情況:S-GW分離,但是P-GW不進行分離,該情況也是支持的.
另外還存在一種合并S-GW和P-GW的結構型,即可以將分離后的S-GW,P-GW的用戶面、控制面做合并,成為統一的實體,結構圖如圖12所示.如此同時,也出現了合并統一的Sx接口.

Fig. 12 Architecture reference model with separation of user plane and control plane for a combined SGW/PGW圖12 用戶面和控制面合設S-GW/P-GW的參考架構模型[9]
2) 用戶面與控制面分離后,S-GW,P-GW,TDF功能的變化
除了接口上的變化,S-GW,P-GW與TDF還存在一定功能上的變化,有些功能消失被其他模塊繼承,也有一些功能被新增進去.詳細的功能列表見23.214協議的Table 4.3.2-1-Table 4.3.2-3.
S-GW進行控制面用戶面分離以后, S-GW-U上的所有功能,均受到S-GW-C的控制.
S-GW的原有功能:
① 負載/過載控制功能、修復與恢復功能、操作維護管理接口(operation administration and main-tenance, OAM)、GPRS隧道協議(GPRS tunneling protocol, GTP)負載和路徑管理,在CP/UP分離以后的S-GW中不予承載功能(P-GW中也沒有繼承).
② UE移動性終點:在3GPP和非3GPP接入中,改變目標GTP-U的終點,該內容在分離后也不支持(P-GW繼承了這部分功能).
其余的功能,則完全按照控制和用戶面進行劃分,同時并無新增功能.
P-GW進行控制面用戶面分離以后,P-GW-U上的所有功能,均受到P-GW-C的控制.
P-GW原有功能:
① UE移動性的支持.結尾標記的轉發+轉發緩存數據包,這2項功能不存在(完全被S-GW繼承).
② 負載/過載控制功能、修復與恢復功能、操作維護管理接口(OAM),GTP負載和路徑管理,在CP/UP分離以后的P-GW中不予承載功能(S-GW中也沒有繼承).
③ S1釋放/緩存/下行數據通知.該主功能下的子功能1,2,3均被S-GW完全繼承(P-GW只繼承了屬于自己的子功能4,P-GW計費過程的暫停,其余內容均被S-GW繼承).
④ PCC(策略與計費控制)的子功能9+13消失(PCC完全由P-GW承載).
TDF也存在類似的功能繼承和分化,詳情參考23.501協議.
3) 用戶平面功能選擇
由于用戶面和控制面分離,那么對于控制面如何選擇用戶面則需要制定一定的規則.
首先, S-GW-C只能選S-GW-U,同理P-GW與TDF,只能選擇對應模塊的用戶面.因此:
① S-GW-C選擇S-GW-U;
② P-GW-C選擇P-GW-U;
③ TDF-C選擇TDF-U.
對于CP合并的情況(S-GW-C與P-GW-C合并):可以選擇合并的UP,也可以選擇獨立的UP.選擇的UP不一定包括所有的功能,可能只是一個子集.
CP選UP要考慮包括:UE的位置信息(位置太遠可能不會選擇);UP的容量,比如:能支持什么樣的功能等等;另外就是UE所需要的特性,根據UE的特性選擇對應的用戶面功能;最后要考慮UP的部署情況(分布式、集中式或者在接入網側).
在3GPP的SA2中,23.501協議定義了5G的系統架構,如圖13所示.未來5G是基于服務化架構的,它需要支持的功能包括CP和UP的分離、網絡切片、能力開放、本地路由等功能.
采用這一基于服務化的架構,作為統一基礎架構,意味著5G網絡真正走向開放化、服務化、軟件化方向,有利于實現5G與垂直行業融合發展.這種基于“服務”的架構設計方式使得5G網絡真正面向云化設計,具備多方面優點,如便于網絡快速升級、提升網絡資源利用率、加速網絡新能力引入,以及在授權的情況下開放給第三方等.所定義的功能主要有:用戶平面功能(user plane function, UPF)、會話管理功能(session management function, SMF)等網元模塊,同時在各個模塊之間,還定義了相應的接口.接口情況如圖14所示,從N1~N15,如圖14所示.

Fig. 13 5G System architecture圖13 5G系統架構[9]

Fig. 14 Non-Roaming 5G System Architecture in reference point representation圖14 非漫游5G系統架構的參考點表示[7]
該架構所要完成的功能非常龐雜,包括諸如:注冊管理、連接管理、會話管理、服務質量管理、用戶面管理等功能.其中有關支持邊緣計算的功能,專門在文獻[7]的5.13節中列寫,其所定義的邊緣計算的內容如下:
邊緣計算能夠讓運營商和第三方服務部署在臨近UE接入點的地方.所以,這可以獲得更有效的服務遞交以及縮短端到端的延遲,同時傳輸網的負載也降低了.5G核心網選擇一個UPF靠近UE,同時執行流量定向,從UPF到本地數據網(經過N6接口).這可能會基于UE的簽約數據、UE位置、策略或者其他相關的流量規則.這里其實就是定義了流量分流,邊緣計算的一個關鍵功能就是將流量疏導到本地.
由于5G是服務化架構、邊緣計算的平臺需要開放給第三方APP,所以核心網需要將部分網絡能力開放出去,這也是構建邊緣計算生態的重要組成部分.APP是否被允許直接與控制面網絡功能交互決定于運營商的部署.
下面是協議中定義的5G將支持的邊緣計算功能:
① 本地路由.5G核心網選擇UPF來路由用戶流量到本地數據網.
② 流量定向.5G核心網選擇流量被路由到APP(在本地數據網).
③ 會話和服務連續性,以支持UE和APP移動性.
④ 用戶面選擇和重選,比如基于APP功能的輸入.
⑤ 一個APP功能,可能影響UPF面的流量疏導以及UPF的選擇.
⑥ 網絡功能開放(network exposure function, NEF).主要包括5G核心網和APP的相應功能,用以提供信息經過NEF.
⑦ 服務質量和計費.策略和控制功能(policy control function, PCF)提供規則用于服務質量控制,同時計費被本地數據網轉發的流量.
⑧ 支持本地數據網.5G核心網提供支持連接本地數據網(local data network, LADN)在特定的區域.
詳細的系統流程和細節以及有關會話建立等步驟可以參考23.502協議,但是有些細節流程仍然在制定過程中.另外,有些系統流程同LTE現有流程基本保持一致,并沒有做太大的改動,詳細的分析還需要后續協議版本的更新.
在文獻[15]中也介紹了一些基于核心網側的分流方案,也支持數據分流的相應功能,可以提供參考.
在23.501中,定義了有關業務連續性的方案,該方案與邊緣計算關系比較密切的.邊緣計算中需要保證業務的連續性,目前定義了3種業務連續性方案:SSC1,SSC2與SSC3.本節所提到的有關上行分類器(uplink classifier)和多歸屬(multi-homing)的內容將在3.4節的流量疏導中介紹.
對于會話和服務連續性的支持(在5G系統中)能夠對于給UE的不同應用/服務滿足不同連續性的需求.5G系統支持不同的會話和服務連續性(service and session continuity, SSC).與SSC模式相聯系的一個協議數據單元(protocol data unit,PDU)會話錨點,在整個PDU會話的生存時間內是不會改變的,主要是3種:
1) SSC Mode1.UE移動過程中,無論UE所采用何種接入技術,PDU會話建立時的錨點UPF保持不變.這種模式類似于LTE網絡中公共數據網(public data network, PDN)錨點不變更的方式.此時UE IP不會發生變化.
2) SSC Mode2.當終端離開當前UPF的服務區域,網絡會觸發釋放掉原有的PDU會話,指示UE立即建立與同一數據網絡的新的PDU會話.建立新會話時,可以選擇一個新的UPF作為PDU會話Anchor UPF,此時需要保證新建立的會話信息和原會話信息的UE IP相同.
3) SSC Mode3.當終端離開錨點UPF的服務區域,保持原有的PDU會話及 錨點UPF,同時通過選擇新的錨點UPF,并在該錨點UPF上建立新的PDU會話,此時UE同時擁有到2個錨點UPF的PDU 會話,最后釋放掉原有的PDU會話,在這個過程中UE IP保持不變.
SSC模式選擇策略,應該被用于決定會話類型和服務連續模式,與應用或應用組相關聯的服務連續性模式,提供給UE.運營商可以通過提供UE SSC模式選擇策略.這個策略包括一個或者多個SSC模式選擇策略規則,可以被UE使用來決定SSC模式類型,與應用或者應用程序組相關聯.這個策略包括一個缺省SSC模式選擇策略規則,適用于UE的所有APP.
為了支持流量卸載或者支持SSC模式3,會話管理功能SMF可能會控制PDU會話的數據通道,這樣PDU就可以連續地匹配多個N6接口.UPF中斷這其中的每一個端口(N6的終點就是UPF),也就是支持一個PDU會話錨點功能.每個PDU會話錨點支持一個PDU會話提供不同的接入到相同的DN中.所以,可選擇的流量疏導方案主要有2種:①給一個PDU會話使用上行分類器;②給一個PDU會話使用一個IPv6多歸屬.
1) 上行分類器——人為構造多個會話通路(適用于因特網協議版本4(Internet protocol version 4, IPv4),IPv6以及以太網會話類型)
對于IPv4,IPv6以及以太網會話類型:SMF在一個PDU會話的數據路徑中插入一個“上行分類器”.
上行分類器被UPF支持,用于邏輯上轉移一些流量(本地流量)來匹配SMF提供的流量濾波器.上行分類器的插入或者移除是SMF決定的,同時受到SMF的控制(N4和UPF功能).SMF可能決定插入一個UPF支持上行分類器到PDU會話路徑中,也可能從PDU會話數據通路中把該分類器移除.而插入和移除,可以在PDU會話建立過程中或者建立完成后進行.SMF可能會包括超過一個UPF來支持上行分類器功能.
但是UE對于上行分類器做出的流量轉換是無感知的,同時也不會參與到分類器的插入和移除.(未來可能會加入UE的感知).對于IP類型的PDU會話,UE聯合PDU會話帶有一個IPv4的地址或者一個IPv6的前綴,這些都是網絡分配的.
當在一個PDU會話的數據通道中插入分類器后,就會有PDU會話的多個錨點.這樣,多個PDU錨點就可以提供到同一個數據網的多個通路.具體的結構圖如圖15所示(見文獻[9]中23.501協議的圖5.6.4.2-1):

Fig. 15 User plane Architecture for the Uplink Classifier圖15 用戶面上行分類器結構[9]
2) 使用IPv6多歸屬用于PDU會話
多歸屬PDU會話.PDU會話多歸屬只適用于IPv6類型.一個PDU會話可能與多個IPv6前綴相關聯.這種多歸屬PDU會話提供訪問數據網的通道,經過超過一個的PDU錨點(IPv6的).不同的用戶面的通路通向不同的PDU錨點分支輸出在一個共同的UPF,這就是所謂的UPF支持“分支點功能”.
分支點提供轉發上行流量到不同的PDU錨點,同時把下行數據流合并到UE(其實就是把來自不同PDU錨點的數據合并轉向UE).
分支點功能被UPF支持,用于邏輯上轉移一些流量來匹配SMF提供的流量濾波器.上行分類器的插入或者移除是SMF決定的,同時受到SMF的控制(N4和UPF功能).SMF可能會包括超過一個UPF來支持上行分類器功能(同上行分類器),詳情如圖16和圖17所示.圖17展示了接入到本地數據網(見文獻[9]中23.501協議的圖5.6.4.3-2)情形下的多歸屬模型.

Fig. 16 Multi-homed PDU Session: service continuity case 圖16 多歸屬PDU會話:服務連續性場景[9]

Fig. 17 Multi-homed PDU Session: local access to a DN圖17 多歸屬PDU會話:本地接入數據網[9]
使用多個IPv6前綴的特點:
① PDU的源前綴.UPF支持分支點功能是SMF配置的,用于將上行流量在IP錨點之間分散,這都是基于源前綴(選擇方法:UE選擇或基于路由信息和網絡側收到的參考).
② IETF RFC 4191,用于影響UE選擇源前綴.
③ 這種多歸屬PDU會話,支持先接后段服務連續性、支持SSC模式3.
目前,3GPP的SA2已經定義了邊緣計算的7個關鍵技術.對于會話,流量疏導方面采用上行分類器或者多歸屬的方式,業務連續性備選方案為SSC1至SSC3;用戶面的選擇基本是核心網選擇UPF,將用戶的流量分流到本地網的方式.UE的移動性則類似于LADN中的方式,屬于是繼承;對于應用功能(application function, AF),我們可以看成部署在邊緣平臺的APP,AF可以影響流量的分流和用戶面選擇.
但是對于服務質量和計費以及有關鑒權合法監聽的內容,目前還沒有明確的需求和定義,需要在未來的標準化進展中進一步跟蹤.
在未來的R15版本中,主要計劃完成的內容有:
① 本地路由.5G核心網選擇UPF來將用戶流量分流到本地網(已經在5G的TS中給出);
② 流量轉向.5G核心網絡選擇將流量路由到本地數據網絡中的應用程序;
③ 會話和服務連續性,以支持UE和AF機動性(SSC2/SSC3);
④ 用戶面選擇與重選;
⑤ 網絡能力的開放;
⑥ 服務質量和計費.PCF提供服務質量控制和計費規則,針對那些分流到本地的流量進行服務質量和計費;
⑦ 本地數據網的內容.
另外有關AF對流量路由的影響以及有關網絡能力開放的標準化內容,在此處略去,可分別參看協議23.501的5.20節與5.6.5節,另外涉及到網絡能力開放詳細流程的內容可以參考23.502的5.3~5.4節.圖18中也展示了有關MEC的在2016年以來的標準化進展情況.主要的標準化內容集中在SA2部分.

Fig. 18 Standardization status related to MEC in 3GPP圖18 3GPP中與MEC相關的標準化進程
3GPP作為通信領域重要的國際化組織,其國際影響力和參與度都是最大的.3GPP目前已經注意到了邊緣計算的強大生命力,已經將邊緣計算作為網絡架構演進的重要方向之一.但是由于3GPP是一個更針對網絡架構標準化的組織,因此在3GPP的標準中并沒有對邊緣計算單獨立項,其對邊緣計算功能的支持也主要體現在用戶面重選、計費、能力開放等方面.而這些內容也散落在SA2,SA5,SA6或RAN等標準化內容中,較為分散,整合度較差.目前,3GPP的重點都放在對5G網絡架構、空口技術、物理層技術的討論中,對于邊緣計算的討論還比較少,因此無法給出較多有參考性的內容.雖然3GPP影響力很高,但是目前3GPP還沒有給出邊緣計算的參考架構,使得產業界在邊緣計算方面還沒有統一起來,邊緣計算產業的發展也受到了一定的制約.
在無線通信技術工作委員會TC5的移動通信核心網WG12工作組下,2017年新立有關邊緣計算的項目有3個.目前3個項目均處于立項階段,將在TC5 WG12第2次會議討論后續問題.這3個項目有重合之處,重點都分析了邊緣計算的應用場景、本地流量分流、用戶面選擇與重選、計費與合法監聽等關鍵內容.
1) TC5-WG12-2017-006Q邊緣計算技術研究.由中國聯通牽頭的研究課題,針對本地處理要求的業務,對邊緣計算的場景進行分析,根據邊緣計算業務和技術需求,對邊緣計算的關鍵技術進行研究,啟動邊緣計算的相關標準的研究和編制工作,從而推動邊緣計算設備研發、運營商網絡部署、第三方應用創新的協同發展.研究的內容包括:適用于邊緣計算的場景、本地路由、邊緣計算業務對用戶面的選擇與重選、業務連續性保障、流量管控、邊緣計算安全問題、邊緣計算內部架構設計等.
2) TC5-WG12-2017-002Q邊緣計算關鍵技術研究.由中國電信牽頭,關注的內容包括有關5G網絡架構的部分:關于5G服務質量架構、會話管理、用戶面路徑優選、能力開放、計費要求等相關內容.另外研究5G MEC的關鍵技術包括:本地分流、業務緩存和加速、本地內容計費、智能化感知與分析、網絡能力開放、移動性管理和業務連續性保障等.
3) TC5-WG12-2017-003Q邊緣計算總體技術要求.由中國移動牽頭,主要研究核心網用戶面和業務平臺下沉至網絡邊緣的相關技術實現.包括如下方面:核心網用戶面下沉技術、業務平臺下沉、結合移動網絡能力開放、邊緣計算業務平臺與CDN之間的協同研究、核心網用戶面設備及邊緣業務平臺設備技術要求及接口規范等方面.
ST8為CCSA特設的工業互聯網組,負責研究制訂工業互聯網標準體系、規劃,開展工業互聯網相關標準的制修訂工作,促進工業互聯網標準與產業的協調發展.
工業場景中,更多的業務在靠近物或數據源頭的網絡邊緣側,融合網絡、計算、存儲、應用核心能力的開放平臺,就近提供邊緣智能服務,滿足行業數字化在低時延、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求.邊緣計算是推動工業互聯網發展必不可少的部分,具有重要意義.
目前在ST8-WG 2進行的立項主要有3項,目前這些項目均處于立項狀態,立項結果將在ST8第2次會議中討論:
1) 面向工業互聯網的邊緣計算技術需求及場景.由中國移動牽頭,描述邊緣計算總體需求及場景,將結合智慧城市、智能交通、智能樓宇、智能制造、智能家居等一系列未來物聯網(Internet of thing, IoT)應用場景推動工業互聯網的發展.同時,該項目也將保障實時性業務處理、提供端到端安全保障以及實現統一能力開放API等邊緣計算自身的關鍵研究問題納入其中.
2) 工業互聯網邊緣計算技術研究.由中國移動和華為牽頭,討論工業互聯網應用邊緣計算技術的進行研究和分析,包括邊緣計算在工業互聯網領域應用的需求分析、網絡系統架構、主要關鍵技術、管理機制以及該技術面臨的機遇和挑戰等.針對工業互聯網的特殊性,該項目主要包括的內容有:超邊緣計算輕量級虛擬化平臺、實時性操作系統、平臺能力開放統一API、邊緣計算低時延承載、智能邊緣計算和工業互聯網邊緣計算的管理的內容.
CCSA在邊緣計算的標準化才剛剛起步,很多內容均參考ETSI和3GPP中的內容,屬于標準跟隨而缺乏創新性,引領性不夠強,沒有形成自己的特色.這也導致了國內對CCSA標準化的重視程度不夠高.同時,CCSA立足于形成行業標準,而這種標準同ETSI和3GPP標準之間的共存問題也是需要討論的,畢竟CCSA的影響力還不如前兩者更大.最后,邊緣計算在中國也屬于新興產業,產業圈還不夠繁榮,參與度還不夠高,標準化的范圍也僅限于三大運營商和幾個重頭設備商,很難形成廣泛的影響力.
2017年6月份,中國聯通發布了邊緣計算白皮書.該白皮書基于5G業務需求及MEC產業進展,定義了中國聯通對MEC平臺能力和應用場景的需求,給出了中國聯通4G網絡MEC部署策略建議,及面向5G網絡的演進規劃.未來也希望同產業各界共同探討MEC商業合作模式,共建網絡邊緣生態,全面推動5G業務的蓬勃.
白皮書從運營商的角度,分析了邊緣計算行業的發展需求以及技術驅動,同時也給出了未來運營商在邊緣計算領域的演進方向.本節我們主要分析中國聯通在LTE現網以及未來5G網絡中有關邊緣計算的部署策略以及組網架構的演進.
1) LTE網絡邊緣計算組網架構與部署策略
目前在LTE現網中,MEC服務器有2種形態:1)作為基站的增強功能,通過軟件升級或者新增板卡,在基站內部集成;2)作為獨立設備,部署在基站后或者網關后的外置方式.
圖19中為中國聯通LTE網絡中典型的邊緣計算端到端組網架構,MEC服務器在基站與核心網之間,通過解析S1消息實現業務的分流.基站和核心網之間通常經過多個傳輸環:接入環、匯聚環和核心環.根據業務類型、處理能力以及網絡規劃等需求,把MEC部署在合適的位置.

Fig. 19 MEC end-to-end network architecture diagram in LTE network圖19 LTE網絡中MEC端到端組網架構圖

Fig. 20 MEC Deployment location圖20 MEC部署位置
圖20中展示了MEC的部署位置,MEC的部署位置主要分為3種:邊緣級、區域級和地區級.根據不同的需求,可以將MEC部署在不同的位置.
① 邊緣級.MEC部署于基站與回傳網之間,這種部署貼近基站(宏站、室分站或者小站),可以部署在站點機房,也可以隨著云化基帶處理單元(base-band processing unit, BBU)池部署在無線接入機房.該部署方式下,MEC覆蓋基站個數比較少,對傳輸的影響較小,回傳鏈路時延最短.同時,這種部署方式的覆蓋性能與當前近端的傳輸相關性較大,需要綜合評估覆蓋需求與傳輸狀況.此種場景下,MEC多為層2組網,需要具備繞路能力,以保證系統異常時不中斷業務,保證高可靠性.此場景比較適合本地緩存和內容分發網絡類業務,提供小范圍,本地化,低時延應用.
② 區域級.MEC部署于匯聚環和接入之間,此時需要將MEC部署于兩環相接的傳輸設備用戶網絡接口,并將需要進行分流的基站量疏導經MEC.在這種場景下MEC覆蓋面積可以是1個或者多接入環上的基站,并且可以針對環上不同的基站選擇性進行分流.這種覆蓋方式面積較大,時延也比較低.但是需要針對待分流基站在傳輸設備上配置或者更新虛擬轉發和路由關系.這種場景比較適合區域面積相對較大的場館、廠礦等場景,提供大范圍、近距離、較低時延的應用或者為邊緣應用提供云端業務支持.
③ 地區級.當 MEC部署于匯聚核心層時,這種覆蓋方式主要針對大面積分流業務或者待覆蓋范圍存在接入環孤島的情況,這種部署方式時延相比較其他2種方式較大,但是能夠解決跨地域傳輸覆蓋的問題.此種場景下,MEC多為層3組網方式,需要修改對接網元的傳輸配置,確保消息能夠發送到MEC服務器,當MEC服務器不可達時改選其他傳輸路徑.這種方式主要部署的業務為行為性業務或者公眾性業務,同時也有利于核心側的網絡能力的開放,提供范圍更大的業務支持.
2) 中國聯通MEC組網架構演進
到了未來5G,隨著AR/VR、高清視頻、車聯網等業務的興起以及未來建設通信云數據中心(data center, DC),將促使業務服務向網絡邊緣部署,建設邊緣云環境.Pre-5G到5G的演進過程如圖21所示:

Fig. 21 China Unicom MEC network architecture evolution圖21 中國聯通MEC組網架構演進
① Pre-5G.借助NFV和軟件定義網絡(software define network, SDN)技術,接入機房實現虛擬化改造,為基站、核心網以及業務提供允許所需要的虛擬資源.基站BBU虛擬化以后,形成云化BBU,部署于接入機房的數據中心.核心網網元一方面完成虛擬化,另一方面完成控制轉發的分離,即采用CUPS架構,網關節點分離成為控制面網元S-GW-C,P-GW-C和TDF-C;轉發面網元S-GW-U,P-GW-U以及TDF-U.根據一定的需要將轉發面網元部署在接入機房數據中心,行成Pre-5G網絡架構.該架構依然使用4G標準接口,但是會體現一定的5G網絡特征.
② 5G階段.5G網絡架構以DC(數據中心)為基礎設施,以云計算為基礎平臺,從接入層到核心層形成4個云中心:無線接入云、邊緣云、匯聚云和核心云.目前,除了無線接入云以外,其他3朵云均已寫入中國聯通通信云規劃中.無線側采用CU/DU架構,CU基于虛擬化技術,可以部署無線接入云和邊緣云.
在5G網絡架構中,UPF可以提供分流功能,PCF實現分流策略的控制.與4G相比,5G中邊緣計算將和5G網絡深度融合.UPF按需部署于網絡各個位置,實現將業務分流到MEC,再到本地用戶的過程.比如對于一些時延要求很高的業務,如AR/VR,可以將UPF和MEC部署在接入云;對于高清視頻業務,可以選擇部署在邊緣云,或者更高的匯聚云,以提升業務命中率.
2017年6月的上海通信展,中國聯通聯合諾基亞、英特爾、騰訊共同打造了上海梅賽德斯奔馳中心智能場館邊緣計算樣板網絡.
該樣板網絡主要架構如圖22所示.場館現場布置了多臺攝像機,從各個角度直播虛擬人物“洛天依”的演唱會,這些圖像視頻資源被采集到本地MEC中,然后不經過核心網直接分發到場館內的授權用戶(即:注冊認證后的用戶)的終端上,用戶可以快速地在多個直播角度視頻進行切換.由于所有的視頻都在本地MEC進行分發和處理,因此用戶進行視頻切換時幾乎是沒有延時的.

Fig. 22 The network architecture of the edge of the Mercedes Benz center in Shanghai圖22 上海梅賽德斯奔馳中心邊緣計算網絡架構
另外,本次活動還在AcFun(A站)同步直播.通過對比A站直播和本地MEC直播可以發現,A站直播的時間延遲隨著時間推移逐漸增大,延時可以達到40 s.而基于MEC的本地視頻直播,延時級別在0.5 s左右,對于用戶來說是幾乎無感知的.結果對比如圖23所示:

Fig. 23 Delay comparison results圖23 時延對比結果
左側MEC直播,和現場幾乎是同步的;而右側的互聯網A站直播,則依然停滯在洛天依跳舞的畫面,而該畫面出現在40 s以前,同步滯后性非常明顯.
綜合不同場景包括個人業務、家庭業務、政企業務、物聯網等業務體驗對云化網絡的承載和部署要求,網絡架構需要通過不同物理位置的機房分域部署滿足未來業務對于時延、帶寬、可靠性等需求,通過從底層資源池到上層業務的分層解耦匹配SDN,NFV、云計算等新技術帶來的分層架構要求.
中國聯通傳統網絡機房將逐步向數據中心架構演進,從而構建通信云云化網絡總體架構.云化網絡總體架構沿用傳統通信網絡接入、城域、骨干網絡架構,與現有通信局所保持著一定對應和繼承關系,在不同層級區域、本地、邊緣進行分布式DC部署,實現面向寬帶網/移動網/物聯網等業務的統一接入、統一承載和統一服務.
通信云云化網絡架構總體上可劃分為4個層級單元部署,包含3層DC以及接入局所,如圖24所示.
1) 區域DC.以省域/集團/大區控制、管理、調度和編排功能為核心,如集團OSS、網絡功能虛擬化編排器(network function visualization orchestrator,NFVO)、省云管平臺、NFVO、虛擬網絡功能管理(visualization network function management, VNFM)等,主要承載省域內及集團區域層面控制網元以及集中控制面網元包括IP多媒體子系統、CDN、移動管理實體(mobile management entity, MME)和窄帶物聯網(narrow band IoT, NB-IoT)等網元.

Fig. 24 Communication cloud network architecture圖24 通信云云化網絡架構[16]
2) 本地DC.主要承載城域網控制面網元和集中化的媒體面網元,包括CDN等.寬帶網絡網關(broadband network gateway, BNG),UPF,GW-U等網元.
3) 邊緣DC.以終結媒體流功能并進行轉發為主,部署更靠近用戶端業務和網絡功能,包括云化RAN-CU,MEC,UPF等網元.
4) 接入局所.以提升資源集約度和滿足用戶極致體驗為主,實現面向公眾/政企/移動等用戶的統一接入和統一承載.考慮到接入局所主要部署接入型/流量轉發型設備,暫不考慮接入局所基礎設施DC化改造.未來按需部署云化RAN-CU/DU,MEC等網元,基于現有機房條件直接入駐.
邊緣DC作為未來MEC和5G UPF直接部署的平臺,也是將來中國聯通要重點建設的平臺.

Fig. 25 Example of Local CDN video optimization圖25 本地CDN視頻優化示意圖
未來中國聯通在邊緣計算的工作安排主要圍繞試點建設和標準跟進2個方面.
中國聯通目前正在天津寶坻大學城,與中興、英特爾、騰訊視頻共同建設大學城視頻優化、智慧校園、游戲優化邊緣計算試點.
圖25展示了本地CDN視頻優化的示意圖.
將各種視頻數據緩存在本地邊緣云平臺,當用戶請求視頻資源時,通過信令判定,直接同本地服務器中下載視頻資源并播放.緩存的視頻可以是最近熱播的電視劇、電影或者綜藝類節目,根據大學城學生的喜好進行緩存,不僅節省了網絡帶寬,同時在用網峰值時刻很好的降低了對傳輸網、核心網的壓力.尤其是目前聯通與OTT合作發行了大量的流量電話卡以及冰激凌無限套餐卡,針對當前網絡負載過重的情況,邊緣計算可以非常好地降低這種負荷,通過本地緩存來有效提升視頻加速.
在杭州,中國聯通聯合華為、阿里巴巴共同打造阿里慈溪園區邊緣計算試點,主要完成的試點任務有:阿里手淘VR購物、阿里高德室內位置定位服務以及阿里優酷高清視頻業務.VR流量和數據,通過本地MEC(即華為的R-GW產品),分流至企業本地網,而R-GW對于屬于互聯網的請求則不予分流.由于流量的產生和疏導都在本地進行,因此可以很大程度降低時延和響應.對于VR這類流量產生很大的業務來說,邊緣計算是比較好的解決方案.詳細的系統架構和組網結構在圖26中所示,該方案是基于華為的R-GW分流設備完成的.

Fig. 26 Experiment on edge computing based on AR business supported by Huawei圖26 基于AR業務的邊緣計算試點(華為支持)
另外,中國聯通正在同上海諾基亞貝爾等公司、在四川天府新區科技城打造基于邊緣計算的智慧園區試點,主要解決企業私有云、園區定位、智能停車等業務,方案細節仍然在商議中.
2017年11月深圳高交會上,中國聯通攜手HPE、星耀科技、INTEL,XJERA LABS、日輝趣停,NVIDIA,H3C匠心打造“MEC+Edge-Cloud+智能安防”商用部署解決方案如圖27所示,可實現表情識別、行為檢測、軌跡跟蹤、熱點管理、體態屬性識別等多種本地AI典型應用.其中,邊緣云對4G攝像頭采集的視頻進行本地分流,降低對核心網及骨干網傳輸帶寬資源的占用,縮短端到端時延;云計算中心執行AI的Training任務,Edge-Cloud執行AI的判決、本地決策、實時響應.

Fig. 27 Edge-Cloud intelligent security solution圖27 基于Edge-Cloud智能安防解決方案
未來中國聯通開展廣泛合作,共同推進5G邊緣云發展,構建5G邊緣生態.首先挖掘各省應用需求,準備網絡資源,具體措施包括:
① 跨部門協作.各省公司網建部、市場部、政企事業部通力合作,成立專門Edge-Cloud項目組.
② 業務拓展.聚焦大視頻、VR/AR、工業物聯網、車聯網等高帶寬、低時延業務,為行業客戶制定端到端解決方案.
③ 資源準備.根據中國聯通通信云及DC規劃指導建議,各省根據實際業務需求,開展邊緣DC云資源池的準備工作.
④ 開放網絡能力.基于Edge-Cloud平臺,開放基于位置服務(location based service, LBS)、RNIS、服務質量等能力為邊緣應用提供增值服務.
其次拓展產業合作,構建邊緣生態.借混改東風,攜手產業界,探索Edge-Cloud商業模式,各省合力,構建中國聯通邊緣內容生態.
最后,針對標準跟進,中國聯通未來將參與ETSI有關邊緣計算的第2、第3階段標準進展工作.對于3GPP的標準化進展,中國聯通將主要與核心網部門,一同跟進SA2系統化架構部分的標準化過程.在CCSA中,針對ST5和ST8兩部分,有關邊緣計算的項目剛剛處于立項階段,未來的項目/課題討論、標準細節制定,中國聯通也將積極參與,發揮重要作用.
目前邊緣計算具有極好的發展前景,國內外的運營商、互聯網巨頭、設備商和芯片廠商均紛紛布局邊緣計算產業.多個邊緣計算產業聯盟不斷建立,運營商重構基站和中心機房以適應邊緣計算業務,IT和互聯網巨頭企業紛紛力推邊緣計算產業,推出各種面向邊緣計算的智能化產品.包括中國聯通在內的諸多企業,也寄希望于邊緣計算,加強同互聯網企業的合作,拉動數字化改革的序幕,加速中國聯通混改向更為深入的方向邁進.未來邊緣計算標準化的內容,一方面要注重對網絡架構的標準化,以適應邊緣計算的各類業務能力的需求;同時也要更加注重同具體新興業務之間的結合,擴大邊緣計算的影響力,包括車聯網、工業互聯網、人工智能等.中國聯通也將持續關注并積極參與各項邊緣計算標準化工作,擴大邊緣計算試點規模,逐步開展機房改建工作,加強合作,共同打造邊緣計算產業生態.
致謝作者要感謝《計算機研究與發展》期刊特邀編委鄧曉衡教授、李東升教授和吳帆教授對本文提出寶貴意見.感謝《計算機研究與發展》期刊齊蓉編輯對文章的辛苦付出.最后要感謝華為、中興、諾基亞等廠商在邊緣計算試點組網方面和標準化進展方面提供的寶貴經驗!
[1] China Unicom. China unicom edge computing technology white paper[OL]. Beijing: China Unicom. [2017-06-01]. http://www.chinaunicom.com.cn/ (in Chinese)
(中國聯合網絡通信有限公司. 中國聯通邊緣計算技術白皮書[OL]. 北京: 中國聯合網絡通信有限公司. [2017-06-01]. http://www.chinaunicom.com.cn/)
[2] Shi Weisong, Sun Hui, Cao Jie, et al. Edge computing—An emerging computing model for the Internet of everything era[J]. Journal of Computer Research and Development, 2017, 54(5): 907-924 (in Chinese)
(施巍松, 孫輝, 曹杰, 等. 邊緣計算: 萬物互聯時代新型計算模型[J]. 計算機研究與發展, 2017, 54(5): 907-924)
[3] European Telecommunications Standards Institute (ETSI). Mobile-edge computing introductory technical white paper[OL]. [2016-12-03]. https://portal.etsi.org/Portals/0/TBpages/MEC/Docs/Mobile-edge_Computing_-_Introductory_Technical_White_Paper_V1%2018-09-14.pdf
[4] European Telecommunications Standards Institute (ETSI). Mobile edge computing (MEC): Framework and reference architecture[OL]. [2016-03]. http://www.etsi.org/deliver/etsi_gs/MEC/001_099/003/01.01.01_60/gs_MEC003v010101p.pdf
[5] European Telecommunications Standards Institute (ETSI). Mobile edge computing (MEC): General principles for mobile edge service APIs[OL]. [2017-07]. http://www.etsi.org/deliver/etsi_gs/MEC/001_099/009/01.01.01_60/gs_MEC009v010101p.pdf
[6] European Telecommunications Standards Institute (ETSI). Mobile edge computing (MEC): Mobile edge management; Part 2: Application lifecycle, rules and requirements manage-ment[OL]. [2017-07]. http://www.etsi.org/deliver/etsi_gs/MEC/001_099/009/01.01.01_60/gs_MEC009v010101p.pdf
[7] 3rd Generation Partnership Project (3GPP). 3GPP TR, 23.501, system architecture for the 5G system; (Release 15)[OL]. [2017-10-01]. http://www.3gpp.org/DynaReport/23-series.htm
[8] 3rd Generation Partnership Project (3GPP). 3GPP TR, 23.502, procedures for the 5G system (Release 15)[OL]. [2017-10-01]. http://www.3gpp.org/DynaReport/23-series.htm
[9] 3rd Generation Partnership Project (3GPP). 3GPP TR, 23.214; architecture enhancements for control and user plane separation of EPC nodes (Release 14)[OL]. [2017-10-01]. http://www.3gpp.org/DynaReport/23-series.htm
[10] China Communications Standards Association (CCSA). TC5-WG12-2017-002Q-Study on 5G MEC key technology[OL]. [2017-08-15]. http://www.ccsa.org.cn/ (in Chinese)
(中國通信標準化協會. TC5-WG12-2017-002Q-立項建議: 5G MEC關鍵技術研究[OL]. [2017-08-15]. http://www.ccsa.org.cn/
[11] China Communications Standards Association (CCSA). TC5-WG12-2017-003Q: Technical requirement for edge computing of telecom network[OL]. [2017-08-15]. http://www.ccsa.org.cn/ (in Chinese)
(中國通信標準化協會. TC5-WG12-2017-003Q-立項建議: 邊緣計算總體技術要求[OL]. [2017-08-15]. http://www.ccsa.org.cn/
[12] China Communications Standards Association (CCSA). TC5-WG12-2017-006Q: Study on edge computing technology[OL]. [2017-08-15]. http://www.ccsa.org.cn/ (in Chinese)
(中國通信標準化協會. TC5-WG12-2017-006Q-立項建議: 邊緣計算技術研究[OL]. [2017-08-15]. http://www.ccsa.org.cn/
[13] China Communications Standards Association (CCSA). ST8-WG2 study on edge computing in industry Internet[OL]. [2017-08-01]. http://www.ccsa.org.cn/ (in Chinese)
(中國通信標準化協會. ST8-WG2工業互聯網邊緣計算技術研究建議書[OL]. [2017-08-01]. http://www.ccsa.org.cn/
[14] China Communications Standards Association (CCSA). ST8-WG2 requirements and scenarios of edge computing for industrial Internet[OL]. [2017-08-01]. http://www.ccsa.org.cn/ (in Chinese)
(中國通信標準化協會. ST8-WG2面向工業互聯網的邊緣計算技術需求及場景行業標準項目建議書[OL]. [2017-08-01]. http://www.ccsa.org.cn/
[15] Yu Yifan, Ren Chunming, Ruan Leifeng, et al. Mobile Edge Computing in 5G Communication Systems[M]. Beijing: Posts & Telecom Press, 2017 (in Chinese)
(俞一帆, 任春明, 阮磊峰, 等. 5G移動邊緣計算[M]. 北京: 人民郵電出版社, 2017)
[16] China Unicom. China unicom communication cloud archi-tecture white paper[OL]. Beijing: China Unicom. [2017-09-01]. http://www.chinaunicom.com.cn/ (in Chinese)
(中國聯合網絡通信有限公司. 中國聯通通信云架構白皮書[OL]. 北京: 中國聯合網絡通信有限公司. [2017-09-01]. http://www.chinaunicom.com.cn/)