時間：2025-09-29來源：本站
華為全聯接大會2025期間，寶德計算與華為數據存儲聯合發布了AI推理加速解決方案。該方案基于寶德PLStack AI人工智能平臺和華為OceanStor A系列存儲的推理加速能力，助力企業應對大模型時代AI推理的關鍵挑戰，加速AI大模型推理應用落地。
隨著AI集群規模不斷擴大，大模型訓練集群故障率呈指數級上升，導致實際算力利用率不足50%，存在大量的算力資源浪費；同時，在推理場景下，隨著序列長度及并發數量增加導致Token吞吐量降低，AI推理陷入算力重復消耗的惡性循環。這些問題嚴重影響了推理體驗和效率，限制了AI技術在更多場景的廣泛應用。
針對這些挑戰，寶德計算與華為數據存儲創新推出了AI推理加速聯合解決方案，該方案基于寶德PLStack AI人工智能平臺，采用華為UCM推理記憶數據管理器，實現KV Cache數據池化管理，基于大模型歷史數據做推理加速優化。通過存儲與計算的深度協同，為AI推理加速提供了全方位的技術支持。
●多元生態兼容：支持主流算力生態與存儲深度協同，支持vLLM推理框架和CUDA生態，兼容多種大模型開發需求；
●極致推理加速：持久化KV Cache保存到華為A系列存儲，實現推理記憶知識的全量保存，避免重復計算，使并發倍增，首Token時延最高降低90%，Token吞吐量提升兩倍以上；
●訓練效率提升：搭載華為A系列存儲，支持DataTurbo客戶端，提供極致文件讀寫性能，滿足AI訓練對高帶寬訴求；
●極簡運維管理：配套一站式全流程AI工具鏈統一納管存儲和計算資源，支持持久化工作目錄、可視化文件管理、租戶隔離等服務，降低運維復雜度。
在企業問答助手實測場景中，該推理加速方案采用以查代算提升推理吞吐，方案效果顯著。數據顯示，在簡單問答場景中，首Token時延（TTFT）縮短1.5倍；多輪問答因涉及更復雜的上下文交互，加速效果尤為突出，推理吞吐提升兩倍以上。同時，隨著對話序列長度增加，推理體驗提升變得更加明顯。該方案為企業提供了更高效、更智能的問答服務。
寶德計算與華為數據存儲的此次合作，提供了AI推理創新性的解決方案。目前該方案在金融、醫療等行業試點。未來，雙方將持續深化合作，實現更多的推理加速方案能力，推動AI技術在更多行業的落地應用，助力行業智能化升級。
寶德服務器
寶德自強
4008-870-872
點擊咨詢
