강화학습 모델 평가 방법

아티클 관련 제품: BakingSoDA 2.1

들어가며

• 모델 학습 후 생성된 trial 의 결과를 평가하는 항목에 대해 알 수 있습니다. 

내용

Project 에서 수행한 모델 학습이 완료되면 다음과 같은 화면을 확인할 수 있습니다. 

처음 결과 화면에서는 사용자가 학습 진행 전 지정한 값들이 정상적으로 적용되었는지 확인합니다. 

예시로 5개의 trial 을 생성하여 학습을 진행했다면 이 모델은 어떻게 평가할 수 있는지 확인해보도록 하겠습니다. 

1. Leaderboard 

탭을 클릭하면 5개의 trial 이 모델학습을 완료하고 학습 값을 도출한 화면을 볼 수 있습니다. 

이는 크게 그래프와 trial 목록으로 나눠집니다. 

2. 그래프 비교

그래프는 크게 두가지로 나누어 확인할 수 있습니다. 

1-1. Parallel Plot

Parallel Plot : 

• 각 trial 마다 사용되는 hyper parameter 들의 정보를 확인할 수 있습니다.  
• 모델 학습 결과를 best reward 정보를 통해 그려진 Plot 입니다. 
• 사용된 hyper parameter 와 reward 간의 상관관계를 확인하여 모델학습 값을 비교할 수 있습니다. 

1-2. Importance Plot

Importance Plot : 

• 각각의 Experiment 안에서 사용되는 Hyper parameter 와 best reward 값을 가져옵니다. 
• 이 값을 통해 어떤 reward 가 Hyper parameter 에 많은 영향을 미쳤는지 확인할 수 있습니다. 
• Importance Plot 을 통해 이떤 Parameter 값을 조정해야하는 지 알 수 있습니다. 

3. 진행된 trials 

Trial 은 모델학습이 진행된 단위입니다. 5번의 trial 을 주었다면 5번의 모델학습이 진행된 것을 뜻합니다. 

이 중 특정 trial 의 Name 을 클릭하여 접속한다면 다음을 확인할 수 있습니다. 

1. General 

해당 trial 이 사용한 Hyper parameter 의 값들을 확인하고 그로 인한 결과 값을 확인할 수 있습니다. 

2. Metrics

해당 모델이 학습되면서 나오는 결과 값이 그래프로 도출된 부분입니다. 

이를 통해 사용자가 설정한 reward, Max, Min, loss 값 등 다양한 그래프를 확인할 수 있습니다. 

3. Training Logs

해당 모델이 학습을 진행하면서 발생한 log 입니다. 

이를 통해 결함이나 진행사항 등을 확인할 수 있습니다. 

4. Resource Graph

해당 모델이 학습하면서 사용된 리소스의 값들을 확인할 수 있습니다. 

이를 통해 효율적으로 리소스를 분배할 수 있습니다.

5. Artifacts

해당 모델이 학습을 진행하면서 저장된 모델 파일들을 확인할 수 있습니다. 

assets > model 로 파일을 클릭하여 보면 다양한 모델 결과값들이 저장된 것을 확인할 수 있습니다.