2021年5月,國家發改委、網信辦、工信部、國家能源局四部門聯合印發了《全國一體化大數據中心協同創新體系算力樞紐實施方案》(以下簡稱《實施方案》)。該方案提出,將“構建數據中心、云計算、大數據一體化的新型算力網絡體系”,實施“東數西算”示范工程,以實現數據中心的綠色高質量發展。《實施方案》的發布,是對2020年年底發改委發布的《關于加快構建全國一體化大數據中心協同創新體系的指導意見》中一體化大數據中心頂層設計的細化與解讀,也是對《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》中“加快構建全國一體化大數據中心體系,強化算力統籌智能調度”規劃的落地與推進。如何構建新型算力網絡,已成為我國新型數字基礎設施建設的重大課題。
一體化布局,網絡是關鍵
近年來,隨著國家數字經濟的加速,我國東西部算力設施布局不平衡、不充分的問題愈加凸顯。東部地區應用需求大、創新能力強,但土地、水電等配套資源緊張;西部地區氣候適宜、能源豐富,但數字產業的層次上還存在較大上升空間。實施“東數西算”工程可有效優化算力與應用的空間布局,有助于形成數據的自由流通、按需配 置、有效共享的全國性要素市場,構建以數據為紐帶的東西區域協調發展新格局。
按照《實施方案》的發展規劃,我國將在東部的京津冀、長三角、粵港澳大灣區,以及中西部的成渝、貴州、內蒙古、甘肅、寧夏等地布局建設樞紐節點。一方面,樞紐節點將構建數據中心的算力集群,通過數據中心網絡聯接超大規模計算存儲資源,發揮集約化和規模化優勢,保證算力的充分供給;另一方面,樞紐節點之間可通過廣域網絡交換數據與算力,在近端,可滿足高頻實時交互型業務的需求,在遠端,可滿足離線分析存儲備份等非實時算力的需求。在“東數西算”工程中,網絡貫穿了算力的生產、傳輸和消費的全流程,是構建一體化大數據中心的關鍵。
算力生產與調度,網絡是難點
將東部的數據在西部進行存儲和處理,對網絡性能提出了巨大的挑戰。在算力供給側,數據中心存在“1+1遠小于2”的業界難題。由于大規模服務器集群依賴于網絡實現互聯,因此,當多臺服務器向一臺服務器同時發送大量報文時,會導致報文數量超過交換機的緩存承受能力而產生丟包。而丟包造成的數據重傳,又將極大地影響計算和存儲的效率。在近些年備受業界青睞的RoCE(RDMA over Converged Ethernet)網絡中,0.1%的丟包率就會導致50%的算力下降,造成服務器CPU資源的嚴重浪費,成為算力提升的瓶頸。
在算力配給側,廣域網絡作為聯接東部數據與西部算力的跨區域通道,承載著海量企業成百上千的業務,而不同業務對帶寬、時延、算力等關鍵能力存在差異化需求。廣域網絡必須實現對所承載業務的高效調度,才能讓東數西算發揮預期的價值。而傳統IP網絡提供的盡力而為服務,難以根據不同業務需求進行差異化調度,這種狀況不僅導致網絡資源、云池資源無法被充分利用,也無法幫助企業選擇最優的云池,造成企業上云成本增加及服務體驗不佳。
三大創新黑科技,打造跨區域算力調度IP網絡
基于近30年網絡領域的研發積累與商用實踐,華為發布了業界領先的跨區域算力調度IP網絡解決方案,其產品構成包括:數據中心CloudEngine 16800系列交換機及NetEngine 8000 F8系列廣域路由器。基于智能無損及智能云圖兩大創新算法,該方案可實現算力生產側及輸送側的最優調度,從而整體上達到算力損失小、性能佳、輸送優。
創新一:智能無損算法
要解決數據中心網絡的丟包問題,關鍵是要設置合理的交換機緩存隊列擁塞標記水線。如果水線設置過高,發端服務器無法及時降速,網絡擁塞不能及時緩解,就會出現丟包或時延的大幅增加;如果水線設置過低,發端服務器過度降速,網絡無法實現100%吞吐,則會造成資源的浪費。長期以來,由于業務流量模型千差萬別,即使網絡專家投入大量精力進行測試仿真,依賴人工經驗也難以確定最佳水線。為此,華為創新地將智能算法引入數據中心網絡交換機,其可根據實時采集的網絡狀態信息,如隊列深度、帶寬吞吐、流量模型等維度,通過智能無損算法動態設置理想的隊列水線。為了確保算法可以適應任意場景和流量模型,華為通過百萬級的真實業務樣本及千萬級的隨機樣本對算法模型進行訓練,最終實現了無丟包、高性能、低時延的平衡(圖1)。
圖1 存儲網絡場景下智能無損算法效果對比(來源Tolly報告)
創新二:分布式自適應路由
高性能計算、并行計算需要提供大規模的算力,為了實現海量計算節點的高速互聯,要求網絡除了零丟包外,還要支持超大規模組網和低時延的訴求。目前,數據中心采用的主流網絡架構為CLOS架構(圖2),其組網規模會受限于交換機的端口密度。以業界常見的64口交換機為例,3級CLOS架構最大可支持65536個服務器接口,而構建10E級算力需要提供20萬以上計算節點的互聯能力。此外,3級CLOS網絡計算節點間的轉發需要經過5跳,而4級CLOS不但組網成本大幅上升,而且跳數也達到7跳,時延增加將導致計算效率明顯降低。
圖2 數據中心傳統的CLOS組網模式
為了實現更大規模的組網,同時保證低成本及低網絡時延,華為將直連拓撲(圖3)引入到以太組網中,突破了CLOS架構的限制,實現了超大規模和低網絡直徑(低跳數)組網。同時,該方案通過創新的分布式自適應路由技術,可充分利用非等價路徑實現動態路由,在保證低時延的同時,提高了帶寬利用率。華為CloudEngine系列交換機升級后可支持直連拓撲及自適應路由,其中,64口交換機最高可支持27萬臺服務器的零丟包組網,組網規模達到了業界平均水平(3級CLOS)的4倍,網絡跳數和時延可降低25%,在同等服務器組網規模下,相對于3/4級CLOS,網元節點數量可減少20%~40%。
圖3 數據中心新型直連拓撲組網
創新三:智能云圖算法
傳統廣域網采用的最短路徑調度,會由于業務選擇相同路徑而造成鏈路利用率不均衡。引入多路負載分擔后,雖然提升了網絡的利用率,但業務對網絡的差異化需求(如時延、抖動、可靠性)并未得到滿足。同時,這種方式僅考慮了網絡因素,而未考慮云池因素(如算力負載、成本、存儲),因此,會造成云端算力資源利用不均衡,無法實現算力的高效調度(圖4)。
圖4 廣域網傳統的調度模式
為了解決這一問題,華為引入了智能云圖Edge-Disjoint KSP算法,該算法融合了網絡的時延、帶寬、可靠性、可用度等網絡因子和云池的算力負載、存儲資源、成本等云因子進行云網地圖建模,通過多維約束的動態并行計算獲得了不同業務的最優路徑推薦,按照推薦結果對SRv6報文的路徑標簽進行了定義和編排,同時將業務數據攜帶在SRv6報文中,全網路由器可根據業務類型實現最優路徑轉發,從而實現了云池、網絡、業務質量的整體最優。基于云因子與網因子的一體化調度,該算法不僅可根據企業的需求選擇最佳云池,還可實現多源到多宿的云網資源平衡,將算力輸送效率提升了30%以(圖5)。
圖5 廣域網絡的云網一體化調度
早在2016年,國家就提出了“建設一體化大數據中心”的指導思想,如今,新型算力網絡的概念已經深入人心,華為正在積極參與國家樞紐節點的方案設計與建設,通過IP網絡方案的持續創新,推動“東數西算”工程的順利開展,為數字經濟提速注入強勁動力。
在線客服
個人及家庭產品
熱線:950800(7*24小時)
華為云服務
熱線:4000-955-988|950808
企業服務
熱線:400-822-9999
運營商網絡服務
熱線:4008302118