[RuntimeError: CUDA error: ouf of memory] 딥러닝 학습 시 메모리 에러가 뜰 때 !? | GPU 메모리 정리하기

1. 문제 상황

터미널에서 학습 코드를 실행시키자 마다 아래와 같은 에러가 발생했다. 

곧바로, nvidia-mi 및 watch -d -n 0.5 nvidia-smi를 찍어보니 GPU를 사용하고 있지 않음에도 Memory-Usage 부분에서 메모리가 정리되지 않고 있었다. 

 

 

 

2. 문제 원인

실험을 하면서 input, output 찍어본다고 강제종료를 했던 탓,,! (Ctrl + c)

학습 프로세스를 강제 종료할 시에는 간혹 프로세스가 완전히 종료되지 않고 GPU 메모리에 찌꺼기가 남아 있는 경우가 발생한다. 

이렇게 되면 다시 학습을 실행시킬 경우 메모리가 가득차서 학습이 되지 않는다. 

이렇게나 많다니,,,,,

 

 

3. 문제 해결

1) 아래와 같은 명령어를 입력하여 딥러닝 학습을 실행시킨 파이썬 파일의 ID를 찾는다. 

      

      

      

    
    

      <bash />
    
ps aux | grep python

 

2) 찾은 아이디가 '1342' 이라면 아래와 같은 명령어를 사용하여 kill

      

      

      

    
    

      <bash />
    
sudo kill -9 '1342'

 

3) GPU 메모리가 잘 정리되었는지 확인한다. 

      

      

      

    
    

      <bash />
    
nvidia-smi