基于云原生的NEF 設計與開發

［江洪 郭英 龍顯軍］

1 引言

“4G 改變生活，5G 改變社會”，5G 具有更高速率、更低時延及海量連接，5G 面向公眾客戶的同時更多地面向行業應用，并針對各行業提出了豐富的應用場景：游戲行業的AR/VR、汽車行業的車聯網、醫療行業的遠程醫療、工業制造的智慧工廠等，5G的商用對各行業都有改變，也將改變整個社會。

5G的各種應用場景對網絡能力的調用差異化明顯，各種能力調用需要動態的實時變更，為了更好地滿足各行業的個性化需求，需要將5G SA 網絡能力開放出來，各行業應用能夠靈活地按需使用網絡能力，充分發揮運營商的網絡及業務能力。

為了能將5G SA 網絡能力開放出來，3GPP 提出了5G網絡能力開放架構，并在5G 網絡中引入了NEF（Network Exposure Function）網元，NEF 是5G SA 網絡的能力開放功能網元，是連接5G 核心網與各行業應用的紐帶。

2 NEF 概述

2.1 標準與現狀

網絡能力開放問題在國際和國內標準組織中都引起了廣泛關注。3GPP R15 標準于2018 年12 月凍結，針對NEF 定義了流量分流、QoS 控制等8 個標準能力，R16 標準于2020 年7 月凍結，增加了uRLLC、mMTC 等業務應用場景。R17 將更全面地面向垂直行業，進一步增強邊緣計算、網絡切片等基礎能力，提供更廣泛的5G 能力調用。

目前商用部署的5G 核心網主要基于R15 標準，以及R16的部分能力。5G SA 網絡能力的開放需要5G 核心網的支持和配合，基于此，NEF 網元的首期功能主要基于R15 標準，隨著R16 標準的凍結落地，NEF 將不斷完善和提供更多的5G 能力。

2.2 NEF 在網絡中的位置

NEF 在網絡中的位置如圖1 所示，NEF 通過北向Nnef 接口向AF（Application Function）提供API 接口調用，通過南向接口與其他5G 核心網網元交互。

圖1 NEF 在網絡中的位置

NEF 負責提供和管理對外開放的功能接口，可同時為信任域內和信任域外的AF 提供接口。針對能力開發，3GPP 提出了CAPIF 架構和標準，實現對AF的認證、授權、計費等功能，并提供相應的安全保障來保證AF 到5G 核心網的安全。AF 訪問5G 核心網內部數據、調用5G 核心網能力，都必須通過NEF。

2.3 NEF 主要功能

3GPP 定義的5G SA 網絡能力很多，在5G 能力開放初期，有必要根據行業應用需求的迫切性及5G 核心網的現狀對接口能力進行篩選，基于目前對客戶的需求調研及5G 核心網商用版本現狀，初期主要提供事件監控、QoS、流量引導及計費策略控制4 個接口能力。

①事件監控接口主要針對客戶的位置信息、漫游信息、機卡綁定狀態、可達性等狀態進行監控，其應用場景包括物流追蹤、緊急救援、設備故障監控等。

② QoS 可實現流量加速、直播或視頻等高帶寬類業務的QoS 保障，其應用場景包括定向流量加速、視頻QoS 保障等。

③流量引導實現對流量的本地卸載，其應用場景包括移動本地辦公、MEC 本地流量卸載、智慧園區等。

④ 計費策略控制可以對特定數據流量變更計費策略，其應用場景為商家或廣告商贊助流量等。

3 NEF 開發與設計

5G SA 網絡能力的需求是多樣化、差異化且不斷增長的，特別是2B 行業應用、切片、邊緣計算等對業務靈活性、平臺高效性和運營敏捷性提出更高要求。云原生技術是能夠滿足這些需求的理想技術體系。通過云原生技術構建的5G 核心網元，能夠支撐業務靈活組裝和擴展、賦能電信業務快速投放，提升運營商價值；通過云原生技術構建的開發工具鏈，能夠提升系統的開發、交付以及運營運維效率；通過云原生技術的開放性，能夠源源不斷地將新技術新能力融入到網絡方案中，從而促進網絡價值的提升。

3.1 云原生設計與實現

本NEF 網元的開發，全面引入了云原生技術，從架構設計、開發工具、服務部署以及自動化運維上都全部使用業界成熟的工具，并按照“12 法則應用理論”，在開發、系統架構、日志處理、系統運維監控等各方面都按照云原生標準實施。

本NEF 平臺為部署在Kubernets（簡稱K8S）的分布式高可用微服務架構平臺。除了平臺所依賴的基礎軟件，如Mysql、Redis、Kafka 等，NEF 本身的原生服務都是無狀態服務，以K8S Service的形式部署于K8S worker 節點中。基于K8S的服務治理架構如圖2 所示，每個Service通過ClusterIP 向集群內其他服務暴露服務地址。服務之間通信時，按目標服務的HostName 向K8S DNS 解析得到該服務的ClusterIP，再根據ClusterIP 向目標服務Service對象發起請求。目標服務Service 收到請求后，將請求代理到集群下的任意一個Pod，進行業務處理。每個服務的負載均衡由Service 對象實現。Service 對象將收到的請求均勻分配到集群下的每一個Pod，通過這種方式，使得整個NEF 平臺的每個服務都實現高可用和按業務量動態伸縮。

圖2 基于K8S的服務治理架構

本系統構建過程遵守標準的DevOps 所要求的構建、發布、運行作業流程，使用的DevOps 工具鏈體系如圖3所示，禪道作為項目和需求管理，Gerrit 作為代碼管理，JFrog 作為制品庫以及Jenkins 作為集成流水線。在Gerrit上實現代碼分支管理以及代碼評審，并觸發構建流水線。

圖3 Devops 工具鏈體系

禪道系統通過需求定義、版本迭代和任務去驅動開發團隊的版本構建工作，開發團隊通過DevOps 工具鏈進行產品開發，并向禪道系統反饋測試報告和Bug 跟蹤，形成閉環。Jenkins 是整個DevOps 系統的核心控制點。在Jenkins中部署了流水線腳本，控制整個構建和部署的過程，其中包括驅動Fortify 進行代碼審計和安全掃描，減少構建前可能的安全性風險；從Gerrit 中拉取代碼編譯構建各微服務鏡像文件，并上傳到JFrog 制品庫；執行制品部署到目標的K8S 環境。

日志作為云原生系統重要的組成部分，在本NEF 系統中具有重要地位，是故障定位，大數據分析以及日常運維的重要信息來源。本NEF 平臺的日志系統采用Jaeger的全鏈路日志跟蹤系統。

圖4 Jaeger 全鏈路日志系統架構

監控體系是云原生技術的重要環節，是實現自動化運維的關鍵。本NEF 平臺采用了如圖5的Prometheus 服務監控框架。

圖5 Prometheus 監控方案架構

圖4 是整個Jaeger 全鏈路日志框架。在NEF的微服務Pod 中，NEF 服務依賴Jaeger-client 包，通過實現OpenTracing API 協議在代碼中產生埋點。在Pod 中部署了Jaeger-agent，收集從Jaeger-client的日志，傳遞給Jaegercollector，由Jaeger-collector 將日志信息存儲到ELK 數據庫中。儲存的日志信息通過Jaeger query 在后端系統展示，使得運維人員可以查詢任何請求的全鏈路日志信息。

Prometheus 是目前業界使用最廣泛的服務監控軟件。它在每個K8S 節點上部署Exporter 組件。Exporter 組件收集節點本身的狀態指標，如CPU 占用率、內存占用率、網絡IO 流量等，還收集所有服務每個Pod的狀態信息。Exporter 將收集到的信息上報到Prometheus Server。Prometheus Server 匯集上報的監控數據，并保存到數據庫中，再以PromQL的方式輸出信息，包括將告警數據輸出到AlarmManager，同時也向Web UI、DashBoard 等前端組件呈現實時監控信息。運維人員可以通過這些前端展示板查看到整個K8S 集群各節點的健康狀態以及各服務Pod的狀態。

3.2 微服務架構

NEF 系統采用微服務架構進行構建，并采用領域驅動方法進行設計。整體服務架構體系如圖6 所示。

圖6 NEF 微服務體系架構

NEF 服務系統軟件主要由三大板塊組成：內部服務板塊、公共組件板塊和前端Portal 面板。內部服務板塊由所有原生的NEF 功能的服務組成。公共組件板塊是內部服務依賴的開源組件框架，實現數據持久化、緩存以及消息隊列功能。Portal 面板是向系統管理員提供網元局數據管理的前端系統。

在內部服務板塊，分3 個領域實現NEF的整體邏輯：網關接口服務領域，核心服務領域和5GC 網元網關領域。

網關接口服務領域由入局接口網關服務、出局接口網關服務、API 管理服務以及API 網關管理服務組成。這一領域的服務實現NEF 作為一個網元實體對外暴露API 以及向外回調API 請求的功能。

核心服務領域實現了NEF 按3GPP 規范中定義的主要能力邏輯，是整個NEF 最核心邏輯的軟件實現層。在這個領域中，NEF的所有能力被拆分為多個原子能力，每個原子能力由一個微服務實現。目前實現的能力服務包括NF 能力管理服務、事件訂閱能力服務、流量引導能力服務、QoS 控制能力服務以及計費策略控制能力服務。

5GC 網元網關服務領域實現與NEF 對接的其他所有5GC網元的網關服務，每一種5GC對接網元實現一個服務。

除了縱向分層的主要服務外，在橫向還包括一些基礎的服務，實現平臺所需要的數據管理及可維護功能。帳號管理服務管理外部Invoker 帳號及其鑒權處理；系統配置服務實現平臺所有服務所依賴的配置項的集中管理，是云原生12 法則中配置與服務分離的具體實現；定時器服務是向其他服務提供定時器訂閱和回調的服務；分布式ID服務是提供生成各類唯一性ID的服務。

3.3 5GC 核心網兼容性

NEF 作為5G 核心網的能力接口網元，需要對接不同廠家的核心網，這就引入了兼容性問題。NEF 對不同廠家5G 核心網的兼容性問題體現在兩個方面：第一，不同的5G 核心網廠家對3GPP 規范中處理有差異，在信令流程、信令參數選擇和結構等方面都有差別；第二，3GPP 標準在現階段仍然處于演進之中，5G 網元的能力和接口也會隨著標準的演進而改變。

本NEF 平臺通過網元消息模版引擎架構解決這個問題。網元消息模版引擎是針對每個廠家的每類5GC 網元設置一個消息模版，消息模版中定義了該廠家該類網元的詳細信令格式。在5GC 網元網關服務內部處理時，根據對接網元的廠家類型找到對應的消息模版，對信令進行編解碼處理，從而實現不同廠商信令的兼容。

消息模版的管理以及處理架構如圖7 所示。

圖7 網元消息模版引擎原理圖

5GC 網元消息模版的實現包括模版管理和模版編解碼兩部分。

模版管理是在平臺的管理模塊中實現。5GC 網元管理服務負責管理與NEF 對接的所有5GC 網元的生命周期。每一個對接的網元都被標注廠家類型。在網絡管理服務中，每個廠家的每個5GC 網元都可以編輯維護一份網元消息模版。在各5GC網元網關服務處理對該網元的消息交互時，選擇該廠家所對應的網元消息模版進行消息編解碼。

模版編解碼是每個5GC 網元網關服務GateWay的核心服務，負責與對接的5GC 網元進行消息收發。對于消息發送流程，根據目標網元的廠家類型，查詢對應網元的消息模版，根據模版和接口參數，構造網元消息并發送到目標的5GC 網元。對于消息接收流程，GateWay 核心服務從5GC 網元中接收到消息后，根據網元ID 查詢網元對應的廠家及消息模版，根據消息模版解析所收到的網元消息，再發送給相應的NEF 能力服務進行邏輯處理。

4 NEF 部署測試中的問題

4.1 測試中的問題

對于事件訂閱，一般是在訂閱的事件發生變化時會觸發通知事件，如漫游狀態、用戶位置信息等，但用戶也希望能獲取用戶當前的狀態，如是否漫游、當前的位置在哪里？

對于當前狀態的獲取，規范中可以通過設置immediageFlag=true的方式要求在響應消息中提供當前狀態的報告，但是對于經由UDM 到AMF 上訂閱的事件如位置信息、可達狀態等，AMF 可以將通知報告返回給UDM,但是由于規范對于UDM 返回NEF的響應消息參數沒有定義AMF 相關通知參數，按照規范無法在響應消息中將狀態信息返回給NEF。

從與主流5G 核心網廠家對接測試的情況來看，有的5GC 廠家依照規范提出無法實現在響應消息中返回通知報告，有的5GC 廠家自行擴展了響應消息參數，通過擴展參數將AMF 相關通知信息透傳給NEF。

客戶對立即查詢獲取當前的狀態信息的能力需求強烈。就目前的狀況，NEF 可采取繞過UDM 直接訂閱AMF的方式實現或者針對不同的廠家采用不同的處理方式。但從長遠來看，對于該能力的實現建議擴展響應消息參數，一方面運營商可自行擴展，另一方面可以通過提案擴展3GPP 定義的的響應參數，統一各廠家的實現方案，滿足用戶實時獲取當前位置信息的需求。

4.2 NEF 部署問題考慮

NEF 在實際部署時會面對各種復雜情況，5G 核心網、應用對接環境、網絡部署環境的不同，對NEF的要求也不同，本NEF 針對各種部署情況，在功能上做了增強和考慮，以適應實際的部署需求。

NEF 可同時為信任域內和信任域外的應用提供接口調用，兩類應用接入對安全性的要求是不同的，NEF 針對不同的接入環境提供不同的鑒權方式，如IP 地址、證書、賬號密碼、OAuth2.0 及其組合鑒權，基于安全性的前提提供差異化鑒權。

在NEF 部署初期或某些跨區域的應用場景，NEF 可能會對接多套不同廠家的5G 核心網，為適應該應用場景，NEF 增強了基于號碼的路由能力，基于號碼選擇服務的核心網絡，同時通過設計處理，實現同時對接不同廠家5G核心網的能力。

網絡切片是5G的熱點技術，NEF 在設計上也考慮了切片參數的配置及攜帶，可同時支持多個切片網絡的能力調用，適應未來切片組網方式的應用場景。

4.3 統一的開放入口

從3GPP 規范來看，NEF 是5G 核心網的一個網元，而國內運營商部署5G 核心網絡一般采用分省或分大區進行部署，如果NEF 也采用分省或分大區部署，行業客戶沒有統一的接入點，這不利于行業客戶的使用。

為解決行業客戶統一入口調用5G 能力的需求，部署方案可考慮在NEF 之上部署一個統一的能力開放平臺，對外提供統一的能力開放接口，統一認證，由平臺根據路由規則調用各省或大區的NEF 接口。能力開放平臺還可以將運營、鑒權等維護方面的能力集成，統一開放入口一方面方便行業客戶使用，另一方面也屏蔽了網絡的內部拓撲，進一步保證了5G 網絡的安全性。

5 應用前景

通過NEF，可以實現實時、在線的5G SA 網絡能力調用，在智慧園區、工業互聯網、物聯網等領域都有廣闊的應用場景。結合分流、QoS 等5G 開放能力，可為企業、園區組建可管可控5G 企業專網，自主控制訪問權限及QoS 策略配置，企業無需自建網絡卻能使用安全和靈活的企業專網。結合事件訂閱能力，可對終端的可達性、位置及狀態實施監控，行業應用在策略及服務上能夠及時動態進行調整、維護，提升業務體驗。隨著5G的商用及R16標準的落地，5G SA 網絡將提供更多的開放能力，也會與各行業碰撞出更多有特色的應用。