개체명 인식 모델 서빙하기

작성자 김아름 수정일 2022-11-08 10:24

#TwinDoc2.0, #트윈독2.0, #모델, #서빙, #서비스

아티클 관련 제품: TwinDoc2.0

들어가며

  • 학습하여 개발이 완료된 Model을 배포하여, 서비스를 시작합니다.


목록




모델 배포하기

Model 을 서비스하기 위한 ONNX 파일로 변환하고 Model 을 배포합니다.


  • 개체명 요약 모델 상세 화면으로 이동합니다.


  • OVERVIEW 탭에서 배포할 모델의 버전을 선택합니다.


  • Export 탭에서 Export를 클릭합니다.


  1. Export Experiment : User Model 로 선택합니다.
  2. Export Type : "model" 로 선택합니다.
  3. Python Module : "export_model.py" 로 선택합니다.
  4. Resource : GPU 를 선택합니다.
  5. "Save" 버튼을 클릭하여 Model 을 배포합니다.


  • ONNX 파일로 변환된 것을 확인합니다.



모델 서비스 생성하기


배포된 모델을 서비스 합니다.


  • Model Services 메뉴에서 Create를 클릭합니다.


  1. Service Name : twindoc-ner-msvc 로 입력합니다.
  2. Serving Type : model 로 선택합니다.
  3. Resource : 사용할 GPU 로 선택합니다.
  4. Model : Export한 "twindoc-ner-model-v1" 을 선택합니다.
  5. "Save" 버튼을 클릭하여 Model 서비스를 생성합니다.


  • Model 서비스가 생성되고 Status가 "Running" 인 것을 확인합니다.



Rest App 생성하기


REST 서비스는 Client 와 생성된 Model Server 사이의 통신을 제공합니다.

TwinDoc 은 REST API Template 을 제공하여 Prediction 서비스를 이용할 수 있습니다.


  • Rest Apps 메뉴에서 Create를 클릭합니다.


  1. Rest App Name : twindoc-ner-rsvc 를 입력합니다.
  2. Image : py37_twindoc을 선택합니다.
  3. Resource : 사용할 GPU를 선택합니다.


  • 노트북 IDE를 실행합니다.


  • 서비스하는 모델 정보를 작성합니다.


  • 수정된 코드를 저장합니다.



Rest Server 생성하기


REST 서비스를 실행하기 위한 REST 서버를 생성합니다.


  • twindoc-ner-rsvc Servers 탭에서 Create를 클릭합니다.


  1. Replicas : "1" 로 입력합니다.
  2. Rest App Commit Version : 위에서 저장한 코드로 선택합니다.
  3. Image : "gunicorn-restapp.python3.7_online_twindoc" 을 선택합니다.
  4. endPoint : 체크합니다.
  5. Resource : CPU 를 선택합니다.
  6. "Save" 버튼을 클릭하여 REST 서버를 시작합니다.


  • Rest 서버가 Running임을 확인합니다.



Rest 서비스 확인하기


Rest서버에게 요청을 보내, 응답을 확인합니다.


  • Rest Server의 Endpoint URL를 복사합니다.


  • 요청 명령은 아래와 같습니다.
curl -X POST <End Point URL>/predict -H "Content-Type: application/json" -d <JSON Test 데이터>


  • REST API 호출 결과를 확인합니다.
  • data - Test 데이터 출력
  • results - Test 결과 [["B-ORG", "I-ORG", "I-ORG", "O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "I-LOC", "O"], ["B-PER", "I-PER", "I-PER", "I-PER", "I-PER", "I-PER"]] 출력


마무리

  • Named Entity Recognition Model을 배포하여 service를 해보았습니다.

아티클이 유용했나요?

훌륭합니다!

피드백을 제공해 주셔서 감사합니다.

도움이 되지 못해 죄송합니다!

피드백을 제공해 주셔서 감사합니다.

아티클을 개선할 수 있는 방법을 알려주세요!

최소 하나의 이유를 선택하세요
CAPTCHA 확인이 필요합니다.

피드백 전송

소중한 의견을 수렴하여 아티클을 개선하도록 노력하겠습니다.

02-558-8300