강화학습 workflow

들어가며

• 베이킹소다의 강화학습 흐름에 대해 이해할 수 있습니다.

내용

BakingSoDA목표

의사결정을 위한 환경 설정부터 API 형태로 구현된 모델의 성능평가까지 분석,운영,학습 프로세스를 제공하는 플랫폼 형 알고리즘을 이용합니다. 이를 통한 의사결정 사항을 점검하고 발전시킬 수 있는 환경을 제공합니다. 

BakingSoDA 환경

BakingSoDA 는 컨테이너 오케스트레이션 플랫폼인 Kubernetes 위에서 동작하는 컨테이너 기반 플랫폼입니다. Cloud 뿐만 아니라 보안 관리가 용이한 On-premise 환경을 지원합니다.

BakingSoDA 방식

BakingSoDA 는 사용자가 원하는 비즈니스 환경을 지원하기 위한 환경 영역과 강화학습 수행을 용이하게 하기 위한 MLOps 영역으로 구성되어 있습니다.
환경 영역은 Online 과 Offline 방식의 학습을 모두 지원하며 RestApps 기능을 사용한 Simulator 개발 환경으로 Online 방식의 학습을 지원하고 데이터 및 모델을 직접 등록하는 Dataset 개발 환경으로 Offline 방식의 학습을 지원합니다.

MLOps 영역은 Fine-tuning 이 가능한 Experiments 등의 Application 기능으로 강화학습 수행의 편리성을 높였습니다.

BakingSoDA Engine 은 강화학습 분야의 SOTA(State Of The Art)인 최신 알고리즘들을 탑재하고 있으며 이를 활용하여 다양한 비즈니스 문제들을 해결할 수 있습니다. 강화학습 요소 중 State(비즈니스 환경으로부터의 정보)를 학습에 효과적으로 사용하기 위한 State Representation 기법들을 제공하고 있습니다.

개발자를 포함한 다양한 사용자들이 Web UI 를 통해 쉽게 BakingSoDA 의 여러가지 기능을 활용 가능하며 Engine 계층의 접근을 허용하여 복잡한 상황에 보다 최적화된 환경에서 기능을 수행할 수 있습니다. 또한 각 비즈니스 환경에 특화된 Agent 를 REST API 를 통해 Agent 의 배포 및 운영을 지원합니다.