中国财经之窗 - 财经信息聚合平台
中国财经之窗

用上PytorchLightning的这六招,深度学习pipeline提

栏目:财经    来源:TechWeb    作者:沐瑶    发布时间:2022-03-23 16:02   阅读量:12470   

做机器学习研究的你可能经常会遇到这种问题。

用上PytorchLightning的这六招,深度学习pipeline提

就在最近,一个外国兄弟提出了一个建议:

在Pytorch闪电的基础上,深度学习管道的速度提升了10倍!

用他自己的话说,就是mdashmdash爬楼梯似乎给了你一部电梯,

这个酸味,到底该怎么做呢。

无论你是在学术界还是工业界,时间和资源等各种因素往往会成为你实验的桎梏。

尤其是伴随着数据集和机器学习模型的规模越来越大,越来越复杂,使得实验耗时耗力。

加快这件事,就变得至关重要。

例如,在2012年,训练一个AlexNet需要5到6天。

如今,在更大的数据集上训练更大的图像模型只需要几分钟。

这位小哥认为,从某种角度来说,这是由于各种利器的出现。

比如Pytorch Lingtning就是其中之一。

所以,他是死亡管道,总结六个闪电加速实验方法

并行数据加载。

数据加载和增强通常被认为是流水线训练的瓶颈之一。

典型的数据管道包括以下步骤:

从磁盘加载数据,在操作过程中创建随机增强,并分批排列每个样本。

在这个过程中,可以使用多个CPU进程并行加载数据进行优化。

可是,与此同时,这个过程可以通过以下操作来加速。

1.将数据加载器中的num_workers参数设置为CPU的数量。

2.使用GPU时,将DataLoader中的pin_memory参数设置为True这可以将数据分配到页锁定内存,从而加快数据传输到GPU

与CPU相比,GPU大大加快了训练和推理时间。

但是有没有比GPU更好的方法呢。也许答案是:

多个GPU!

在PyTorch中,有几种范例可以用多个GPU训练您的模型。

两种常见的范式是数据并行和DistributedDataParallel

小弟的方法是后者,因为他认为是一种更具扩展性的方法。

但是,在PyTorch中修改训练管道并不容易。

有必要考虑以分布式方式加载数据以及权重,梯度和指标同步的问题。FashionMNIST数据集类似于MNIST,但该数据集包含T恤,裤子,包包等服装项目,而不是手写数字,训练和测试样本数分别为60,000和10,000。

但是有了PyTorch Lightning,在多个GPU上训练PyTorch模型是非常容易的,而且是几乎不需要修改代码的那种!

默认情况下,输入张量和模型权重以单精度定义。

可是,一些数学运算可以半精确地执行。

这样可以显著提高速度,在不牺牲模型性能的情况下,降低模型的内存带宽。

通过在PyTorch Lightning中设置混合精度标志,它将在可能的情况下自动使用半精度,同时在其他地方保留单精度。

通过最少的代码修改,模型训练的速度可以提高1.5到2倍。

当我们训练深度学习神经网络时,我们通常希望获得最佳的泛化性能。

可是,所有标准的深度学习神经网络结构,如全连接多层感知器,都容易过度拟合。

当网络在训练集中越来越好,错误率越来越低的时候,其实在某个时刻,它在测试集中的性能已经开始恶化了。

因此,在训练过程中增加了提前停止的方法。

具体而言,当验证损失在预设评估时间内时,停止训练。

这样既防止了过拟合现象,又能在几十个历元内找到最佳模型。

Sharded Training基于微软的ZeRO研究和DeepSpeed库。

它的显著效果是使大模型的训练变得可扩展和容易。

否则,这些模型不适合单个GPU。

在Pytorch Lightning的1.2版本中,增加了对共享培训的支持。

虽然在哥哥的实验过程中,我没有看到训练时间和记忆占用有任何改善。

可是,他认为这种方法在其他实验中可能会有所帮助,尤其是在不使用单个GPU的大型模型中。

在模型评估和推理过程中,模型的正向转移不需要梯度。

因此,评估代码可以包装在torch.no_grad上下文管理器中。

这可以防止正向传输过程中的存储梯度,从而减少内存占用。

通过这种方式,可以将更大的批次输入到模型中,使评估和推理更快。

效果如何。

介绍了这么多,你一定想知道这些方法的具体功能。要加载和使用数据集,使用以下语法导入:torchvision.datasets.FashionMNIST()。

为此,小哥做了一个表格,详细说明了方法的加速效果。

那么,这些方法对你做机器学习实验有帮助吗。

去试试吧~

热搜:in,pi   
免责声明:该文章系本站转载,旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议,仅供读者参考。
用上PytorchLightning的这六招,深度学习pipeline提