極致利用云資源，小紅書技術降本之路

楊麗

小紅書一開始就決策業務長在云上，并跟隨業務快速發展較早地實現云原生化架構改造。而作為云原生開發的事實標準——Kubernetes容器編排技術，使得企業應用開發和部署變得更易用、可靠，也因與云的結合，在小紅書有長期實踐。

2018年，小紅書正式啟動云原生實踐，對所有的微服務進行容器化，并且部署在Kubernetes集群上。2020年，小紅書針對離線業務進行容器化部署。2021年，小紅書開始了Serverless的嘗試，并且首先將一些在線、離線業務跑在Serverless上。2022年，小紅書對容器能力進一步增強，搜推業務完成了容器化改造和Kubernetes的部署，同時，基于阿里云開源的Koordinator，實現了在線服務和離線音視頻轉碼的混部。

追求技術降本和運維提效，一直以來是小紅書基礎架構優化的源動力。而伴隨深度學習應用和實時數據需求的逼近，小紅書面臨更多新歷史階段的挑戰。

云計算的原住民

“發現美好生活點滴”是小紅書的追求。作為國內深受年輕人喜愛的生活分享社區，小紅書上每月有超過2億用戶分享，每日新增筆記數量可達數百萬條，每天有超百億次的筆記曝光。QuestMobile數據顯示，截至2023年9月，小紅書月活1.99億，同比增長20.2%。尤其在過去一年，平臺用戶日均時長同比增長5.5分鐘。

圍繞內容帶來的“帶貨”模式，也進一步推動小紅書電商業務的發展。2023年“雙11”期間，小紅書圍繞買手電商推出“雙11”電商直播扶持政策，其流量也攀升至階段性小高峰。

這些其實都離不開小紅書平臺長期對內容和用戶的精細化、多元化運營，通過核心的檢索和推薦算法機制，將優質筆記、視頻、小說等內容，與平臺使用人群實現最優匹配。

小紅書創始人毛文超曾闡述，“小紅書首先是一家科技公司。聚焦生活方式必須用好推薦，才有機會為每一位用戶度身定制一本最適合他的小紅書，帶他看大千世界的美好和身旁的精彩。”2015年，小紅書就已經擁抱推薦算法，依靠算法來定義自己。

搜索，是小紅書APP上用戶進行信息檢索的主要入口。用戶檢索方式多樣，檢索品類也非常細分和豐富，那么在檢索過程中，對用戶輸入查詢的正確理解，引導用戶精確快速完成內容搜索，以及進一步結合用戶意圖的實時推薦至關重要。而每一次瀏覽、查詢、召回、下單等動作，對應用架構的彈性、對底層計算的速度、對資源的利用率等都提出了巨大挑戰。

小紅書自誕生起將技術體系搭建在云上，可以說就是云計算的原住民。因而，小紅書的云原生路徑，是跟隨業務場景對云基礎架構提供的抽象能力需要而發展起來的。

在小紅書高速發展初期，面對搜索、推薦、廣告等大量應用機器學習模型的業務場景，云資源為小紅書加快業務迭代提供了穩定、可靠的支撐。

進入第二階段，隨著小紅書業務體量和用戶量的高速增長，原先“有啥用啥”的云資源使用邏輯已經無法滿足對成本和運維效率的考慮。小紅書核心開始更加關注彈性，并通過多云、原生的技術棧，實現容器調度、混部能力，以提升自建的整體利用率，降低自身IT成本。

技術降本的秘密

過去，在容器技術成為主流應用之前，企業采用的多是大規格的虛擬機技術，即一個服務器上虛擬出多個虛機，每個虛機就相當于小型服務器，虛機之間的相互通信，需要內部安裝對應的軟件和應用。容器的出現，在屏蔽掉基礎層復雜性問題的同時，卻也帶來了相當高的應用門檻。

小紅書是國內少有的從一開始就基于Kubernetes構建統一基礎架構的互聯網企業。過去九年多，小紅書也見證了Kubernetes一步步成為實施標準的全過程。如今，小紅書的容器化率已經達到80%以上。

2023年1月，阿里云成為小紅書第一大云資源供應商。小紅書的搜索、廣告、社區等在線業務場景，以及其他少量業務，開始相繼規模化用上阿里云的產品及解決方案。

小紅書與阿里云的合作，將這些虛擬機實現了微服務化或模塊化拆分，希望以更加高效、彈性的架構使用云資源。“阿里云在解決性能瓶頸、內存訪問帶寬瓶頸上提供了很好的支撐。”小紅書基礎技術部負責人秉燭評價。

2022年4月，阿里云Koordinator項目的開源和功能演進，也讓深度參與其中的社區成員小紅書，在容器調度、混部實踐方面產生了極大的效能改善。2023年4月，小紅書在社區與阿里云ERM團隊、ACK團隊聯合主導啟動了YARN與K8s混部項目，同年8月，該方案在小紅書內規模化落地。

2023年云棲大會期間，小紅書技術團隊分享了這一實踐經驗，核心解決的是“在線、離線業務場景融合下，如何提升對集群CPU的利用率”。

舉個例子，有一些白天發生的業務需要高并發、高訪問量的計算需求，還有一些業務需要長時間的線下數據分析、離線分析，可能單個CPU看不出計算資源的利用率不足，但當集群規模化后，這一問題就開始凸顯。

小紅書技術團隊稱，“在線服務資源使用量隨著終端用戶的使用習慣呈現穩定的潮汐現象，夜間CPU利用率極低，導致集群均值CPU利用率較低；業務保有大量的獨占資源池，資源池割裂產生大量的資源碎片，拉低CPU利用率；業務為了穩定性考慮，會過量囤積資源，進一步拉低CPU利用率。”

在阿里云的協助下，小紅書混部技術經歷了四個階段演進：閑置資源再利用、整機騰挪分時復用、常態混部、統一調度。

一，通過技術手段將集群中的閑置資源收集起來，分配給轉碼類業務場景使用；二，通過彈性能力（HPA），在凌晨業務低峰期按比例對在線業務縮容，騰挪空出整機，并將轉碼、訓練等離線pod在該時段運行起來，起到利用率“填谷”的效果；三，平臺持續推進業務大規模合池，將業務由獨占池遷至平臺托管的公共混部池，通過合池、資源超賣等技術手段，CPU分配率得到有效提升，同時通過建設更為細粒度的資源管理與調度能力來實現均值利用率提升的目標；四，混合云架構的統一調度來管理異構計算資源，并支持各類業務形態的工作負載調度能力。

截至目前，小紅書混部能力覆蓋數十萬臺機器規模，覆蓋算力規模數百萬核，支持數萬規模在線、離線場景服務的資源調度。通過大規模容器混部的持續推進，小紅書在資源成本效能上有顯著改善。

在CPU利用率方面，在線混部集群天均CPU利用率提升至45%以上，部分集群天均CPU利用率可穩定提升至55%。在線集群CPU利用率提升8%-15%不等，部分存儲集群利用率提升可達20%以上。

在資源成本方面，為小紅書各類離線場景提供數百萬核時的低成本算力。混部集群CPU分配率提升至125%以上，相較于獨占資源池，資源碎片率明顯下降。

“CPU利用率”，已被小紅書視為衡量一家企業云原生化達到行業領先水準的重要指標。

AI時代，破除算力瓶頸

在2023云棲大會期間，小紅書技術副總裁風笛在與鈦媒體聯席CEO、ITVALUE發起理事劉湘明的交流中提出一個看法，“隨著越來越多的企業選擇云原生架構，企業將更加專注自身業務，將基礎設施放心地交給公有云。云原生也應適配企業自身業務規模。現階段，小紅書對公有云的訴求是能夠支持超大體量的PaaS產品，這些PaaS是能夠被集成、模塊化的，否則雙方會出現很多不兼容性的問題。”

可以看到，相較于傳統行業、政企客戶，互聯網行業客戶的一個最大特征是，傾向于開源或基于第三方服務并有能力自主改造。小紅書云原生實踐體現出了先進技術本身應有的價值：支撐核心業務運轉環節，存在能夠快速迭代，支持高并發、高可用的訴求。

不過，小紅書由于沒有自建機房，所有機器采購自云廠商，選擇不同機型的決策很大程度上取決于能夠采購到什么型號的機器。在此之前，云廠商提供的AI計算集群為小紅書作了很好的資源保障和性能調優。2021年至2022年期間，小紅書機器學習團隊進行搜推模型的GPU化改造，以提升推理性能和效率。

阿里云為小紅書就提供了單集群近8000節點的超大規模容器ACK托管服務，為小紅書核心主站的搜推業務提供穩定高效的云原生基礎設施，PAI Blade的推理優化方案也幫助小紅書推理成本節約了30%，PAI圖引擎等技術有效提升了推薦轉化效果。基于PAI DeepRec數據讀取加速和稀疏化異構計算，小紅書的離線訓練在成本不變的情況下，提升了2.6倍，訓練I/O性能提升了10倍左右。

當下，AI時代的到來讓各大企業都面臨著對算力激增的需求和壓力，小紅書對超大規模AI算力以應對算法和數據的需求也變得愈發緊迫。如何在有限的資源內盤活存量算力資源？如何找到新的可行性方案？這也是小紅書和阿里云要共同探索的新方向。

過去，云計算讓小紅書加速快跑。現在，小紅書仍在持續構建面向未來的技術架構，云計算作為公司業務發展的最佳引擎，也在不斷破除瓶頸。（來源：鈦媒體）