모델 서비스를 고가용성 설정하는 방법

아티클 관련 제품: SparklingSoDA3.0

들어가며

• 스파클링소다에서 배포한 모델 서비스는 배포하기 전에 미리 HA(고가용성)을 적용할 수 있습니다.
• HA(고가용성) 적용시 모델이 사용하는 리소스 자원은 기존대비 n배 이상 증가하지만 서비스의 안정성도 n배 향상됩니다.

내용

스파클링소다 포탈 메뉴의 (운영) 모델 서비스를 클릭합니다.

HA 구성을 원하는 모델 서비스의 Detail 버튼을 클릭합니다.

모델 서비스 설정 중 [Replicas의 수] 와 [Workers] 옵션이 있습니다.

Replicas : 설정시 해당 갯수만큼 POD가 수평 확장(Scale-out)됩니다. 운영 안정성이 높아집니다.
Workers  : 설정시 해당 갯수만큼 프로세스가 수직 확장(Scale-up)됩니다. 동시 처리 성능이 향상됩니다.

설정을 완료했다면 Engine을 시작하여 모델을 서비스 합니다.

마무리

• 위와 같은 방법으로 모델 서비스를 수평 확장(scale-out) 하거나 수직 확장(scale-up) 할 수 있습니다.