GPU显存不释放

关注

原创 2024-06-25 17:52:40 1.9k 阅读 AI 写同款· GEO 优化 ›

解决使用torch.cuda.empty_cache()仍然GPU显存无法释放的问题使用pytorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行.在开发的过程中，程序已经关闭，但是GPU显存无法释放，在使用pytorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？阅读详情

GPU显存不释放

使用pytorch训练网络时，有时强行kill掉程序后，发现GPU显存未释放，原因是使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行

解决办法：

1.执行如下python脚本：

# 该脚本会清除 当前登陆用户导致的GPU显存不释放问题
import os
result = os.popen("fuser -v /dev/nvidia*").read()
results = result.split()
for pid in results:
    os.system(f"kill -9 {int(pid)}")

2.或者执行如下sheel脚本

#!/bin/bash
gpu_process=$(fuser -v /dev/nvidia*)
for process_id in $(fuser -v /dev/nvidia*)
do 
    $(kill -9 $process_id)
done

如果报错Ubuntu：fuser command not found
则先apt-get install psmisc，安装psmisc
参考：https://www.jianshu.com/p/0d8ea6ca332a

收录于

环境配置

标签

#pytorch #深度学习

Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索前言训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？下面让我们一起来探究下原理吧！ pytorch训练只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch 阅读详情

GPU显存不释放

GPU显存不释放

相关推荐