Pytorch分布式训练,其他GPU进程占用GPU0的原因

转载 作者:来者不拒 更新时间:2024-01-31 09:09:30 24 4

问题

最近跑师兄21年的论文代码,代码里使用了Pytorch分布式训练,在单机8卡的情况下,运行代码,出现如下问题。 也就是说GPU(1..7)上的进程占用了GPU0,这导致GPU0占的显存太多,以至于我的batchsize不能和原论文保持一致.

解决方法

我一点一点进行debug。 首先,在数据加载部分,由于没有将local_rank和world_size传入get_cifar_iter函数,导致后续使用DALI创建pipeline时使用了默认的local_rank=0,因此会在GPU0上多出该GPU下的进程 。

其次,在使用torch.load加载模型权重时,没有设置map_location,于是会默认加载到GPU0上,下图我选择将模型权重加载到cpu。虽然,这会使训练速度变慢,但为了和论文的batchsize保持一致也不得不这样做了。-.- 。

参考文献

  1. nn.parallel.DistributedDataParallel多卡训练,第一张卡会多出进程?

最后此篇关于Pytorch分布式训练,其他GPU进程占用GPU0的原因的文章就讲到这里了,如果你想了解更多关于Pytorch分布式训练,其他GPU进程占用GPU0的原因的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

24 4 0
Copyright 2021 - 2022 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com