登陆热线邮箱 设为首页

京东云推出vGPU池化方案,大模型训练效率提升 成本降低

2023-08-17 18:08:22来源:中关村在线栏目:手机


【资料图】

随着人工智能应用的广泛应用,图形处理器(GPU)作为AI计算的核心硬件之一,需求量持续增长。为满足这一需求,京东云近日推出了一种名为vGPU的池化方案。这是一种一站式的GPU算力池化能力,能够使GPU的利用率提高最高达70%,从而大幅度降低大模型推理的成本。 实践效果显示,通过GPU异构资源池化,AI运行效率得到提升,成本降低,整体GPU利用率提升70%,具有显著的优势和实际应用价值。结合任意切分和按需分配,在同等GPU数量的前提下,实现了数倍业务量扩展和资源共享,降低了硬件采购成本,使用更少的AI芯片支撑了更多的训练和推理任务。 京东云表示,这个方案是基于他们自主研发的混合多云操作系统云舰。在原有支持混合多云CPU算力池化能力的基础上,京东云针对大模型训练所需的泛算力池化能力,进一步增强了针对AI应用所需的调度管理能力。这包括卡管理、节点管理、异构资源调度管理等,为包括大模型训练在内的多种AI应用,提供一站式算力池化解决方案,从而全面提升资源利用率。 京东云的这个池化方案具有四大优势:算力切分灵活,支持精细化的配额管理,适配主流CUDA版本和不同GPU芯片适配,还支持节点虚拟分组和节点组指定应用使用,这些优势将全面提升大模型训练效率。 在实际使用场景中,开发者可以根据卡型号申请资源,按算力和显存切分,统一由控制器根据用户指定的调度策略调整。仅在训练、微调和推理任务启动时进行动态分配,在任务结束即可以释放,支持多任务算力隔离和任务冷启动。 京东云的vGPU池化方案是一种高效、灵活、经济的解决方案,对于大模型训练和AI应用具有重要的实用价值。未来,随着人工智能技术的不断发展和普及,vGPU池化方案将会发挥更加重要的作用,为企业的AI应用提供更加灵活和高效的解决方案。

标签:

资讯阅读

NEWS

精彩推送

marvellous