스파클링소다 4.0 노트북(Notebook) Local Trial

목록

• 들어가며
• Local Trial
• Local Trial 학습코드 실행
• Local Trial 학습코드 결과 확인
• Local Trial 평가코드 실행
• Local Trial 평가코드 결과 확인
• Local Trial 배포코드 실행
• Local Trial 배포코드 결과 확인
• 코드 저장
• 마무리

들어가며

• 이전 아티클에서 노트북에 모델 개발을 위한 샘플 코드를 작성한 이후 진행합니다.
  
  
• 노트북에서 작성한 학습, 평가 코드를 experiments(실험실) 생성 후 실행(trial)하여 학습/평가를 합니다.
  experiments에서 확인하기 전에 노트북에서 테스트하는 과정을 local trial 이라고 합니다.

experiments 생성 후 trial을 실행하는 작업과 notebook에서 코드를 실행하는 local trial 작업은 동일한 작업입니다. 하지만 모델 배포를 진행하기 위해서는 experiments를 생성하여 진행합니다.

local trial은 작성한 코드의 정상 실행 여부를 확인하는 용도로 사용하면 되겠습니다.

• 포탈 접속은 고객사에서 사전 신청한 도메인(url)로 접속합니다.초기 포탈 로그인 정보는 다음과 같습니다.
  User ID : superuser
  Password : superuser$01
  

지난 아티클에서 관리계정 또는 일반 계정을 생성하였다면 해당 계정으로 접속합니다.

Local Trial

• 학습 및 평가코드를 작성한 노트북으로 접속합니다.
  
  
  
• 노트북에서 bash 터미널을 실행합니다.
  

노트북에서 bash 터미널을 실행하는 방법은 두 가지가 있습니다.

- 방법 1.  vscode 접속후 Ctrl + Shift + ` 키를 입력합니다.

- 방법 2.  vscode 접속 후 menu -> Terminal -> New Terminal 을 클릭합니다

Local Trial 학습코드 실행

• 학습 코드를 테스트하기 위해 train.py 를 실행합니다.

python train.py

• 학습 코드가 정상적으로 실행되면 아래와 같은 출력을 확인 할 수 있습니다.
  그리고 좌측 output/ 디렉토리 하위에 학습된 결과 모델인 model.pt 파일이 생성됨을 확인할 수 있습니다.
  
  
  
• 포탈 노트북 페이지에 Local Trial을 클릭하면 train.py를 실행하였으며 성공적으로 종료된 것을 확인할 수 있습니다.
  

Local Trial 학습코드 결과 확인

• Local Trial에 완료된 작업의 Name을 클릭하여 상세한 실행 결과를 확인할 수 있습니다.
  
  
  
• General 탭에서는 실행된 local trial의 전체적인 개요를 확인합니다.
  
  
  
• Metrics Graph 탭에서는 학습 결과의 loss를 그래프로 확인할 수 있습니다.
  
  
  
• Resource Graph 탭에서는 학습중 점유한 리소스를 확인할 수 있습니다.
  
  
  
• Artifacts 탭에서는 train.py 실행 후 output/ 디렉토리에 생성된 모델 파일을 확인할 수 있습니다.
  

Local Trial 평가코드 실행

• 평가코드를 테스트하기 위해 다시 노트북에 접속하여 실행합니다.

python eval_model.py

• 학습 코드가 정상적으로 실행되면 아래와 같은 출력을 확인 할 수 있습니다.
  
  
  
• 포탈 노트북 페이지에 Local Trial을 클릭하면 eval.py를 실행하였으며 성공적으로 종료된 것을 확인할 수 있습니다
  

Local Trial 평가코드 결과 확인

• Local Trial에 완료된 작업의 Name을 클릭하여 상세한 실행 결과를 확인할 수 있습니다.
  
• 모델 평가한 결과를 확인할 수 있습니다. 
  

Local Trial 배포코드 실행

• 배포코드를 테스트하기 위해 다시 노트북에 접속하여 실행합니다.

python export_model.py

• 배포코드가 정상적으로 실행되면 아래와 같은 출력을 확인 할 수 있습니다.
  그리고 모델 배포를 위해 model.pt 파일을 변환한 model.onnx 파일이 생성됩니다.
  

Local Trial 배포코드 결과 확인

• 배포 코드는 실행 이력이 Local Trial 탭에 보이지 않습니다.

코드 저장

• 코드 작업이 완료되면 gitlab에 push합니다.

push하는 방법은 아래와 같으며 commit -m ' ' 부분에는 커밋 메시지를 작성합니다.

superuser@ned-test-vscode30036-0:/notebooks/ned-test$ git add .
superuser@ned-test-vscode30036-0:/notebooks/ned-test$ git commit -m 'ned-test'
superuser@ned-test-vscode30036-0:/notebooks/ned-test$ git push
 

마무리

• 이번 아티클에서는 experiments 단계 전 노트북에서 코드의 실행 여부를 테스트하는 local trial 작업을 진행하는 방법을 알아보았습니다.
  
  
• 다음 아티클에서는 experiments를 사용하는 방법을 알아보겠습니다.