如何在不关闭进程的情况下释放nvinfer插件加载的引擎文件占用的内存?

在我的管道中,我使用了nvinfer插件加载TensorRT的引擎文件。我注意到当管道启动时,nvinfer会把引擎文件解压并放到内存中。如果我运行多个不同的管道或者频繁地更换引擎,这部分内存占用会逐渐累积。

我想请问,有没有一种方法让我在不关闭整个进程的情况下释放这些由引擎文件占用的内存空间?

Dear @876444185 ,
Does deleting ICudaEngine object helps your case?

This topic was automatically closed 14 days after the last reply. New replies are no longer allowed.