재부팅 후 nvidia-smi 가 동작하지 않아요

작성자 이경미 수정일 2022-12-16 10:20

#nvidia-smi, #nvidia, #Failed to initialize NVML, #version mismatch

오류 메세지 혹은 현상
  • GPU 가 있는 서버에서 nvidia-smi 호출시 에러 발생
    nvidia-smi
    Failed to initialize NVML: Driver/library version mismatch


원인
  • 재부팅 시 nvidia 그래픽 드라이버나 관련된 라이브러리가 업데이트 되었을 때 발생하는 메세지입니다. 


문제 해결
  • 방법. Procedure 종료


1. lsmod

nvidia mode 를 종료한 뒤 명령어를 실행해야합니다. 

lsmod 에서 nvidia 가 사용중인지 확인합니다. 

lsmod | grep nvidia
nvidia_uvm 634880 8
nvidia_drm 53248 0
nvidia_modeset 790528 1 nvidia_drm
nvidia 12312576 86 nvidia_modeset,nvidia_uvm


2. rmmod

lsmod로 확인된 nvidia를 unload 시켜줍니다. 

sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia_uvm

sudo rmmod nvidia


3. lsof

sudo rmmod nvidia 
rmmod: ERROR: Module nvidia is in use

명령어 실행시 위와같이 에러가 발생하였다면 lsof 명령어를 통해 nvidia의 남은 찌꺼기를 제거합니다.  

sudo lsof /dev/nvidia*


4. unload 확인

정상적으로 unload 가 된 것을 확인합니다. 

결과값이 없어야합니다. 

lsmod | grep nvidia


5. nvidia-smi

해당 명령어를 입력하여 정상작동을 확인합니다. 

nvidia-smi




아티클이 유용했나요?

훌륭합니다!

피드백을 제공해 주셔서 감사합니다.

도움이 되지 못해 죄송합니다!

피드백을 제공해 주셔서 감사합니다.

아티클을 개선할 수 있는 방법을 알려주세요!

최소 하나의 이유를 선택하세요
CAPTCHA 확인이 필요합니다.

피드백 전송

소중한 의견을 수렴하여 아티클을 개선하도록 노력하겠습니다.

02-558-8300