OOM (1) 썸네일형 리스트형 [17] Troubleshooting Out Of Memory(OOM) 큰 모델을 사용할 때 자주 겪었었는데 보통 batch_size를 줄여서 돌리면 정상적으로 돌아갔다. OOM 이 해결이 어려운 이유들 왜 발생했는지 알기 어려움 어디서 발생했는지 알기 어려움 Error backtracking 이 이상한데로 감 메모리의 이전상황의 파악이 어려움 해결 : Batch Size 줄이기 → GPU clean→ Run GPUUtil 사용하기 nvidia-smi 처럼 GPU의 상태를 보여주는 모듈 Colab은 환경에서 GPU 상태 보여주기 편함 iter마다 메모리가 늘어나는지 확인!! torch.cuda.empty_cache() 사용되지 않은 GPU상 cache를 정리 가용 메모리를 확보 del 과는 구분이 필요 reset 대신 쓰기 좋은 함수 imp.. 이전 1 다음
