網(wǎng)上營業(yè)廳
掌上營業(yè)廳
近日，天翼云上線全球運(yùn)營商首個商用昇騰大規(guī)模專家并行（大EP）推理集群，結(jié)合息壤MaaS支持提供萬億級Tokens日調(diào)用，支撐用戶國產(chǎn)化智算應(yīng)用全面用云。自2025年初以來，DeepSeek大模型憑借其超高訓(xùn)練性價(jià)比、高推理性能掀起了全民AI熱潮，人工智能全面邁入大規(guī)模應(yīng)用階段，推理應(yīng)用在各行業(yè)全面加速落地，Tokens處理需求量與日俱增，這對推理系統(tǒng)的性能提出了更高的要求。為應(yīng)對這一挑戰(zhàn)，大規(guī)模專家并行推理技術(shù)與PD分離技術(shù)應(yīng)運(yùn)而生，為大模型推理應(yīng)用的加速規(guī)模應(yīng)用提供了強(qiáng)大的技術(shù)支撐。
大規(guī)?？绻?jié)點(diǎn)專家并行技術(shù)（簡稱大EP) 是一種針對大規(guī)模深度學(xué)習(xí)MoE模型（如DeepSeek）的高效推理技術(shù)，可對推理路由專家進(jìn)行大規(guī)模EP并行、對MLA和共享專家進(jìn)行DP并行，并進(jìn)行雙流并行通信掩蓋，同時降低模型權(quán)重占用的NPU內(nèi)存，提升KV Cache緩存空間，增加整個集群的吞吐。PD分離技術(shù)是指將推理過程中的Prefill計(jì)算和Decode計(jì)算分開。Prefill和Decode兩者計(jì)算類型不同：Prefill為計(jì)算密集型，時延主要由算力決定；Decode為訪存帶寬密集型，時延主要由訪存帶寬決定。PD混合部署時，兩者互相干擾：Prefill時，Decode等待；Decode時，Prefill時延增加，P/D時延不穩(wěn)定，資源需求更大。PD分離部署時，Prefill階段和Decode階段分別部署于不同的物理節(jié)點(diǎn)，兩者并行計(jì)算以實(shí)現(xiàn)硬件平均吞吐效率的有效提升。
PD混合部署示意圖
PD分離部署示意圖
天翼云攜手昇騰圍繞大EP與PD分離技術(shù)進(jìn)行深度創(chuàng)新，將DeepSeek 671B滿血版大模型按專家維度切分到不同的NPU上，使得單卡權(quán)重占用內(nèi)存比例大幅降低，權(quán)重加載耗時大幅減少，且可用于KV數(shù)據(jù)計(jì)算的內(nèi)存顯著增加，實(shí)現(xiàn)高并發(fā)、高吞吐、低時延的推理性能。在大EP方案實(shí)施過程中，雙方聯(lián)合解決多專家的協(xié)同調(diào)度、跨節(jié)點(diǎn)通信擁塞等難題，實(shí)現(xiàn)推理API服務(wù)調(diào)用三級負(fù)載均衡：
· API server層實(shí)現(xiàn)流式與非流式請求分離；
· 在P/D節(jié)點(diǎn)實(shí)現(xiàn)推理請求實(shí)例級負(fù)載均衡調(diào)度；
· 專家級負(fù)載均衡實(shí)時動態(tài)調(diào)整冗余專家來分擔(dān)負(fù)荷，有效避免計(jì)算資源浪費(fèi)，結(jié)合專家親和部署，降低通信量30%。
天翼云昇騰大EP推理集群在輸入1K、輸出1K場景與輸入2K、輸出2K場景下單卡平均端到端吞吐均提升3.8倍左右；在輸入5K、輸出2K場景下，單卡平均端到端吞吐提升5倍以上，滿足長文檔等剛性需求；相比于傳統(tǒng)DeepSeek雙機(jī)部署方式，支持3倍以上的用戶并發(fā)量，更好服務(wù)于客戶智能化轉(zhuǎn)型。
天翼云MaaS提供大模型服務(wù)的開發(fā)者平臺，提供功能豐富、安全以及高性價(jià)比的模型調(diào)用服務(wù)，同時提供數(shù)據(jù)集、精調(diào)、評測等端到端能力，以及RAG、聯(lián)網(wǎng)搜索等插件服務(wù)，全方位保障模型服務(wù)的開發(fā)與落地。
天翼云始終堅(jiān)持以科技創(chuàng)新為根本，堅(jiān)定不移走自主可控之路，持續(xù)夯實(shí)國產(chǎn)云底座，與時俱進(jìn)，開拓創(chuàng)新滿足各行業(yè)多元化業(yè)務(wù)場景需求。在新時代AI發(fā)展浪潮中，引領(lǐng)先進(jìn)技術(shù)的前進(jìn)方向，不斷優(yōu)化性能，突破創(chuàng)新，為AI智算發(fā)展貢獻(xiàn)強(qiáng)勁動力，服務(wù)于千行百業(yè)，共創(chuàng)未來。
新浪微博
今日頭條
騰訊微信
