torch显存分析——如何在不关闭进程的情况下释放显存

一直以来,对于torch的显存管理,我都没有特别注意,只是大概了解到,显存主要分为几个部分(cuda context、模型占用、数据占用),然而在接触大模型之后,遇到越来越多的显存合理利用的问题,尤其是利用大模型进行推理时,怎样规划好一

14天前50

究竟什么占用了你的显存容量_什么东西占显存

1、先来看看平常使用的向量所占用空间的大小 举例32bit float tensor,占用4个字节,所以对于一张RGB三通道的图像来说,如果长宽分别为500 x 500,数据类型为单精度浮点型,那么这张图所占的显存的大小为:5

14天前50