분류 모델 서빙하기

아티클 관련 제품: TwinDoc2.0

들어가며

• 학습하여 개발이 완료된 Model을 배포하여, 서비스를 시작합니다.

목록

• 모델 배포하기
• 모델 서비스 생성하기
• Rest App 생성하기
• Rest Server 생성하기
• Rest 서비스 확인하기

모델 배포하기

Model 을 서비스하기 위한 ONNX 파일로 변환하고 Model 을 배포합니다.

• 분류 모델 상세 화면으로 이동합니다.

• OVERVIEW 탭에서 배포할 모델의 버전을 선택합니다.

• Export 탭에서 Export를 클릭합니다.

1. Export Experiment : User Model 로 선택합니다.
2. Export Type : "model" 로 선택합니다.
3. Python Module : "export_model.py" 로 선택합니다.
4. Resource : GPU 를 선택합니다.
5. "Save" 버튼을 클릭하여 Model 을 배포합니다.

• ONNX 파일로 변환된 것을 확인합니다.

모델 서비스 생성하기

배포된 모델을 서비스 합니다.

• Model Services 메뉴에서 Create를 클릭합니다.

1. Service Name : twindoc-cls-msvc 로 입력합니다.
2. Serving Type : model 로 선택합니다.
3. Resource : 사용할 GPU 로 선택합니다.
4. Model : Export한 "twindoc-cls-model-v1" 을 선택합니다.
5. "Save" 버튼을 클릭하여 Model 서비스를 생성합니다.

• Model 서비스가 생성되고 Status가 "Running" 인 것을 확인합니다.

Rest App 생성하기

REST 서비스는 Client 와 생성된 Model Server 사이의 통신을 제공합니다.

TwinDoc 은 REST API Template 을 제공하여 Prediction 서비스를 이용할 수 있습니다.

• Rest Apps 메뉴에서 Create를 클릭합니다.

1. Rest App Name : twindoc-cls-rsvc 를 입력합니다.
2. Image : py37_twindoc을 선택합니다.
3. Resource : 사용할 GPU를 선택합니다.

• 노트북 IDE를 실행합니다.

• 서비스하는 모델 정보를 작성합니다.

• 수정된 코드를 저장합니다.

Rest Server 생성하기

REST 서비스를 실행하기 위한 REST 서버를 생성합니다.

• twindoc-cls-rsvc Servers 탭에서 Create를 클릭합니다.

1. Replicas : "1" 로 입력합니다.
2. Rest App Commit Version : 위에서 저장한 코드로 선택합니다.
3. Image : "gunicorn-restapp.python3.7_online_twindoc" 을 선택합니다.
4. endPoint : 체크합니다.
5. Resource : CPU 를 선택합니다.
6. "Save" 버튼을 클릭하여 REST 서버를 시작합니다.

• Rest 서버가 Running임을 확인합니다.

Rest 서비스 확인하기

Rest서버에게 요청을 보내, 응답을 확인합니다.

• Rest Server의 Endpoint URL를 복사합니다.

• 요청 명령은 아래와 같습니다.

curl -X POST <End Point URL>/predict -H "Content-Type: application/json" -d <JSON Test 데이터>

마무리

• Classification Model을 배포하여 service를 해보았습니다.