모델 평가하기

아티클 관련 제품: SparklingSoDA4.0

들어가며

• 스파클링소다에 등록된 model의 성능을 평가하거나, 다른 버전의 model과 비교하여 test를 실행할 수 있습니다.
  
  
• model 학습에서 사용했던 dataset 혹은 다른 dataset을 사용할 수 있고,
  parameters 또한 재설정하여 test를 수행할 수 있습니다.
  
  
• 또한 한 개 이상의 model 버전을 동시에 test한 후, 결과를 비교할 수도 있습니다.

사전 준비 작업

• model assets에 model이 등록되어 있어야 합니다.
  
  
• 등록된 모델은 sodaflow lib의 tracking.log_metrics() API 를 통해 그래프가 그려져 있어야, result graph 값을 확인할 수 있습니다.
  
  
• model test시, model을 생성한 experiments만 사용할 수 있으므로, model test를 위한 experiment를 별도로 추가하는 것을 권장합니다.

모델 평가하기

1. test를 진행할 model을 선택합니다.
   
   본 가이드에서는, model version 5, 6 을 test 하겠습니다.
   
   
   
2. model test 생성합니다.
   상단의 test 탭에서 create를 클릭합니다.
   
   
   
   
   1. Model
      test를 진행할 model을 선택하여 Apply 합니다.
      
      
   2. General
      model test의 title을 작성합니다.
      test experiments를 선택합니다.
      
      
   3. Resource
      사용할 resource를 선택합니다.
      
      
   4. Dataset
      사용할 dataset을 선택합니다.
      
      
      
   5. Next > Parameters
      적용할 파라미터를 수정한 후, Save 합니다.
      
      
      
3. model test 결과를 확인합니다.
   Pod List 탭에서는 test하기 위해 선택한 모델들의 리스트를 확인할 수 있습니다.
   
   Result Graph 탭에서는 test한 모델별로 log metrics를 확인할 수 있습니다.
   
   Result Artifacts 탭에서는 model test 의 결과로 생성된 산출물 정보를 제공합니다.

마무리

• model 성능 평가를 위해, 모델 테스트 수행하는 방법을 알아보았습니다.