深度学习后的结果,每次跑的时候,都需要加载权重文件吗?
我现在使用 resnet50 做图片分类
项目地址:https://github.com/ponponon/i...
有一个问题,每次跑的时候(就是创建一个进程),都需要
深度学习后的结果,每次跑的时候,都需要加载权重文件吗?
我指的权重文件指的是: http://cmp.felk.cvut.cz/cnnim... 地址中的 weight/gl18-tl-resnet50-gem-w-83fdc30.pth
每次都要 torch.load(weight_file) 就感觉很费劲,因为需要额外下载 weight/gl18-tl-resnet50-gem-w-83fdc30.pth
这个文件有 130+MB,不大不小
所以这个对于深度学习出来的东西,生产环境上使用,也是离不开这个权重文件的时候?
还是说这个权重文件只要在『学习』、『训练』的时候加载呢?
回答:
是的,推理需要权重。
权重就是学习的结果,是推理的依据。
回答:
一种常见的优化策略是将模型参数加载到内存中,并在多次推理过程中重复使用这些参数。在这种情况下,可以通过在内存中保存模型参数,以避免每次都重新加载权重文件。另外,也可以将模型参数保存在共享内存中,以便多个进程之间共享模型参数,从而提高推理的效率。
还有一种优化策略是使用专门的推理框架,如TensorRT、OpenVINO等,这些框架可以对深度学习模型进行优化,以提高推理效率。这些框架通常使用特定的模型格式和推理引擎来执行推理,并且可以将优化后的模型保存为新的文件,以避免每次都重新加载权重文
以上是 深度学习后的结果,每次跑的时候,都需要加载权重文件吗? 的全部内容, 来源链接: utcz.com/p/938749.html