【答案】:
【关键字】:
1 前言
今天在学习PyTorch~
在使用DataLoader载入数据时,我们需要对num_workers这个参数进行设置,那么设置成多少比较好呢;
2 DataLoader中num_workers参数的设置
我个人觉得按照CPU的线程数来设置比较好,因为感觉数据载入是一个跟IO读取十分紧密的操作;
但是在Windows平台上,将num_workers设置为大于1的数可能会出现问题,
Soumith Chintala也在《Deep Learning with PyTorch: A 60 Minute Blitz》中说到过这个问题:
If running on Windows and you get a BrokenPipeError, try setting the num_worker of torch.utils.data.DataLoader() to 0.
如果在Windows上设置num_workers为大于1的数,则将其改为默认值0,函数内部会为num_workers设置一个默认值;