목록
들어가며
- 이전 아티클에서 생성된 모델을 모델 저장소인 model assets에 등록하고 배포를 위해 onnx 형식으로 패키징하는 방법을 알아보았습니다.
- 이번 아티클에서는 실제로 모델을 서비스하는 방법을 알아보겠습니다.
- 포탈 접속은 고객사에서 사전 신청한 도메인(url)로 접속합니다.
초기 포탈 로그인 정보는 다음과 같습니다.
User ID : superuser
Password : superuser$01
지난 아티클에서 관리계정 또는 일반 계정을 생성하였다면 해당 계정으로 접속합니다.모델 서비스 생성
- 모델서비스를 생성하기 위해 포탈 Model Services 탭으로 이동합니다.
- Create를 클릭하여 모델 서빙에 대한 정보를 입력하고 저장합니다.
A. General : 모델 서빙에 대한 정보를 입력합니다.
- Service Name : 생성할 모델서비스의 이름을 입력합니다.
- Serving Type : 모델 서비스의 타입을 지정합니다.
모델 등록시 'model' 타입으로 등록했다면 'model' 타입을 선택합니다.- Resource : 모델 서비스가 실행될 리소스를 선택합니다.
- Replica : 모델서비스 컨테이너의 갯수를 선택합니다.
Replica의 갯수를 늘리면 round-robin 방식으로 요청을 분산하여 처리합니다.
높은 가용성을 확보해야 할 경우 갯수를 증가시킵니다.
Replica 갯수에 따른 필요 리소스도 비례하여 증가하므로 리소스 모니터링이 필요합니다.B. Model : 이전 아티클에서 등록한 모델을 선택합니다.
- 모델서비스가 실행되는 모습을 확인할 수 있습니다. 우측 하단 View 버튼을 클릭하면 상세한 로그 확인이 가능합니다.
로그를 확인하여 model-asset에 등록한 모델을 제대로 불러왔는지 확인합니다.모델이 로드된 후 아래와 같이 컨테이너 포트가 개방되었다는 내용을 확인하면 정상적으로 실행되었음을 알 수 있습니다.
- 모델서비스가 정상적으로 실행되면 Running 상태로 변경됩니다.
- 모델 서비스 생성후 Monitoring 탭에서 리소스 사용 현황을 확인할 수 있습니다.
마무리
- 이번 아티클에서는 Model Asset에 등록된 모델을 실제로 서비스하는 방법을 알아 보았습니다.
- 다음 아티클에서는 모델서비스 앞단에서 모델서비스를 사용하기 위해 전/후처리 역할을 하는 restapp에 대하여 알아보겠습니다.
아티클이 유용했나요?
훌륭합니다!
피드백을 제공해 주셔서 감사합니다.
도움이 되지 못해 죄송합니다!
피드백을 제공해 주셔서 감사합니다.
피드백 전송
소중한 의견을 수렴하여 아티클을 개선하도록 노력하겠습니다.