추출요약 모델 개발하기

아티클 관련 제품: TwinDoc2.0

들어가며

• 추출 요약 모델을 학습 및 평가하는 과정을 살펴보겠습니다.
  
  
• 추출 요약 모델에 대한 설명은 TwinDoc에서 사용할 수 있는 Model 를 참고해주세요.

개발 순서

추출 요약 모델 개발 순서는 아래와 같습니다.

• 1. 프로젝트 준비하기
• 2. Pre-Trained Model 등록하기
• 3. Model 학습하기
• 4. Model 평가하기

1. 프로젝트 준비하기

• 모델 학습과 평가에 사용할 Dataset을 등록합니다.

• Category : Extractive Summarization
• Dataset Name : twindoc_esum_sample
• Files는 추출 요약 모델의 Dataset 요건과 알맞은 데이터를 선택합니다.

• 학습용 데이터와 평가용 데이터가 업로드 되었습니다.

• 프로젝트를 생성합니다.

• Category : Extractive Summarization 
• Project Name : twindoc-esum-prj
• Template : twindoc-esum-templatea

• 새로운 프로젝트가 생성되었습니다.

2. Pre-Trained Model 등록하기

• 모델 학습에 사용할 Pre-Trained Model을 등록합니다.

• Category : Language
• Model Name : 
• Upload File : twindoc의 pre-trained 모델 파일을 선택합니다.

• 모델이 등록되었습니다.

3. Model 학습하기

위에서 등록한 Dataset과 Pre-Trained 모델을 활용하여 학습을 진행합니다.

• Training Experiments에서 Trial를 생성합니다.

1. Title : training_01
2. Python module : train_main.py
3. Resource : 사용할 GPU 선택
4. Dataset : twindoc_esum_sample
5. Start Checkpoint : pre-trained model 선택

• Training Parameter를 수정할 수 있습니다.

• 시간이 지나, 모델 학습이 완료되었습니다.

모델 Name을 클릭하여 상세 페이지로 이동합니다.

• General : Training Parameters와 모델의 학습 결과를 확인할 수 있습니다.

• Metrics Graph : 학습했을 때의 loss, accuracy 등의 그래프를 확인할 수 있습니다.
• 오른쪽의 Metrics를 클릭하면, 보고자 하는 그래프만 표현할 수도 있습니다.

4. Model 평가하기

모델을 평가하기 위해서는 모델 등록을 해야 합니다.

Trial을 진행한 Model를 Register Model로 등록합니다.

• Name : twindoc-esum-model
• experiment : Training Experiment를 선택합니다.
• Model : final

• 모델 등록이 완료되었습니다.

• 모델을 테스트 하기 위해, Test Experiments에서 Trial을 진행합니다.

1. Title : test_01
2. Python module : eval_main.py
3. Resource : 사용할 GPU를 선택합니다.
4. Dataset : twindoc esum Dataset 을 선택합니다.
5. Start Checkpoint : 위에서 등록한 Register model을 선택합니다.

• Evaluation Parameter를 조정할 수 있습니다.

• 모델 평가가 완료되었습니다.

모델 Name을 클릭하여 상세 페이지로 이동합니다.

• General 탭에서 Evaluation Input값과 그 결과를 확인할 수 있습니다.

• 또한, Artifacts 탭에서 결과 파일을 확인할 수 있습니다.

파라미터를 다르게 하여 학습한 두 모델을, 동시에 평가해 보겠습니다.

• twindoc-esum-model이 version1과 version2가 있습니다.

• 상단의 TEST 탭에서 Create를 합니다.

1. Model : 평가할 모델들을 선택합니다.
2. Title : v1-v2-test01
3. Resource : 사용할 GPU를 선택합니다.
4. Dataset : 평가에 사용할 Dataset을 선택합니다.

• Evaluation Parameter를 수정할 수 있습니다.

• 생성한 Test를 확인합니다.

• Pod List에서는 평가한 Model의 리스트와 로그를 확인할 수 있습니다.

• Result Graph에서는 두 모델에 대한 그래프가 함께 그려져, 비교할 수 있습니다.

마무리

• TwinDoc의 추출 요약 모델을 개발하고, 평가 및 비교하는 과정을 살펴보았습니다.