中文无码熟妇人妻AV在线,大型AV综合导航,欧美亚洲精品一区二区,色妞WWW精品免费视频

當(dāng)前，大模型發(fā)展重心正從“訓(xùn)練”轉(zhuǎn)向“推理”，基于超節(jié)點形態(tài)的云上推理成為趨勢，超節(jié)點推理性能成為產(chǎn)業(yè)界核心關(guān)注點。近期，中國電信研究院聯(lián)合廣東公司、華為公司基于昇騰384超節(jié)點系統(tǒng)，依托研究院自研“翼芯”智算測試與適配優(yōu)化平臺，開展了面向不同場景的大模型推理性能測試與調(diào)優(yōu)。經(jīng)系統(tǒng)優(yōu)化，各場景推理性能均大幅提升，其中DeepSeek 671B滿血版模型在超節(jié)點部署，單卡推理吞吐性能2122 Tokens/s，創(chuàng)下國內(nèi)新紀(jì)錄。

超節(jié)點是采用高速互連技術(shù)將多臺服務(wù)器內(nèi)的AI芯片緊密耦合形成的大型算力單元，需要對不同業(yè)務(wù)場景的資源配置和并發(fā)策略靈活設(shè)置才能最大限度發(fā)揮系統(tǒng)性能。

本次優(yōu)化完成了“翼芯”平臺和昇騰超節(jié)點的對接，針對13項基準(zhǔn)性能、6類典型場景，以及5類典型資源配置，開展了推理性能自動化測試與系統(tǒng)級調(diào)優(yōu)?！耙硇尽逼脚_按照業(yè)務(wù)模型，分別配置超節(jié)點Prefill池和Decode池的資源數(shù)量、推理實例數(shù)量和并行策略，通過測試快速反饋性能指標(biāo)并進行實時策略調(diào)整，同時配合算子融合替換、KV Cache優(yōu)化、集合通信優(yōu)化、服務(wù)調(diào)度優(yōu)化等手段，不斷優(yōu)化P池和D池吞吐性能使其達到最大平衡。

結(jié)果表明，面向DeepSeek 671B滿血版模型的超節(jié)點優(yōu)化方案，多種場景下單卡吞吐性能較優(yōu)化前有2.5至4.3倍提升，其中272卡配置（128卡P池、144卡D池）是系統(tǒng)性能最大平衡點，在TTFT為1.28s、TPOT為50ms的服務(wù)質(zhì)量保證下，系統(tǒng)單卡吞吐達到2122 Tokens/s，較前期業(yè)界最佳優(yōu)化性能提升9.2%。該技術(shù)驗證充分彰顯了中國電信在超節(jié)點上的系統(tǒng)優(yōu)化能力——能根據(jù)客戶業(yè)務(wù)需求靈活配置云上節(jié)點資源，提供高性價比推理算力，有效服務(wù)于復(fù)雜推理、多智能體協(xié)同等新場景。

未來，中國電信將開展更廣泛場景、更多類型的超節(jié)點形態(tài)技術(shù)研究和優(yōu)化驗證，不斷推動國產(chǎn)智算基礎(chǔ)設(shè)施技術(shù)創(chuàng)新。