京東云推出vGPU池化方案，大模型訓練效率提升 成本降低
(資料圖片)
隨著人工智能應用的廣泛應用，圖形處理器（GPU）作為AI計算的核心硬件之一，需求量持續增長。為滿足這一需求，京東云近日推出了一種名為vGPU的池化方案。這是一種一站式的GPU算力池化能力，能夠使GPU的利用率提高最高達70%，從而大幅度降低大模型推理的成本。 實踐效果顯示，通過GPU異構資源池化，AI運行效率得到提升，成本降低，整體GPU利用率提升70%，具有顯著的優勢和實際應用價值。結合任意切分和按需分配，在同等GPU數量的前提下，實現了數倍業務量擴展和資源共享，降低了硬件采購成本，使用更少的AI芯片支撐了更多的訓練和推理任務。 京東云表示，這個方案是基于他們自主研發的混合多云操作系統云艦。在原有支持混合多云CPU算力池化能力的基礎上，京東云針對大模型訓練所需的泛算力池化能力，進一步增強了針對AI應用所需的調度管理能力。這包括卡管理、節點管理、異構資源調度管理等，為包括大模型訓練在內的多種AI應用，提供一站式算力池化解決方案，從而全面提升資源利用率。 京東云的這個池化方案具有四大優勢：算力切分靈活，支持精細化的配額管理，適配主流CUDA版本和不同GPU芯片適配，還支持節點虛擬分組和節點組指定應用使用，這些優勢將全面提升大模型訓練效率。 在實際使用場景中，開發者可以根據卡型號申請資源，按算力和顯存切分，統一由控制器根據用戶指定的調度策略調整。僅在訓練、微調和推理任務啟動時進行動態分配，在任務結束即可以釋放，支持多任務算力隔離和任務冷啟動。 京東云的vGPU池化方案是一種高效、靈活、經濟的解決方案，對于大模型訓練和AI應用具有重要的實用價值。未來，隨著人工智能技術的不斷發展和普及，vGPU池化方案將會發揮更加重要的作用，為企業的AI應用提供更加靈活和高效的解決方案。
關鍵詞：
相關文章
精彩推送
