持久化多进程(persistent_workers)(默认 fork 模式下运行)

实验结果上看,多训练轮数、小规模数据集使用持久化多进程的效果明显、意义较大

小训练轮数、大规模数据集则基本效果不大,其原因就是持久多进程减少的开销相比总时间微不足道

可以作为一个规范使用,有益无害

此外,Spawn 模式下加速比会更显著,但其绝对时间是逊色于 fork 的,本地实验中可以多加使用

补注:

1.可以分别消融小训练轮数、大规模数据集两个变量,得到更充分的结论