스파클링소다 Model 저장 경로

작성자 김아름 수정일 2022-12-02 13:21

#SparklingSoDA4.0, #스파클링소다, #스파클링소다4.0, #model, #모델

아티클 관련 제품: SparklingSoDA4.0

들어가며

스파클링소다에서는 model을 개발하고 등록할 수 있습니다.
그렇다면, 서버에서 model의 저장 경로는 어디인지 알아보겠습니다.

Trial로 떨어진 Model 저장 경로

project에서 모델 소스를 개발한 후, experiments을 생성하게 됩니다.

이후, 생성한 experiments에서 trial을 통해 여러 모델을 만들고 테스트할 수 있습니다.

서버에서 model 이 저장된 경로는 어디인지 확인해 보겠습니다.

현재 스파클링소다의 프로젝트는 총 5개가 존재합니다.

그 중 experiments를 생성하고 trial을 진행한 프로젝트는 2개 입니다.

bike-sharing-demand-pr
mnist-prj

bike-sharing-demand-pr 프로젝트의 experiments와 trial을 살펴보겠습니다.

trial을 진행한 train experiment를 보면 아래와 같습니다.

총 4개의 trial을 진행했고, 그 trial 마다 UUID 값이 있습니다.

해당 UUID 값으로 서버에서 trial 결과가 저장되어 있는 경로를 찾아봅니다.

cd $nfs-mount-point/sodaflow-polyaxon-artifacts-store-pvc-XXX/UUID
pwd
/volumes/sodaflow-polyaxon-artifacts-store-pvc-0548619f-5e77-4b13-a99c-c05961a9e4cf/f551d3bc56b14b44bf3160604447ff4e

경로를 찾아 이동한 후, 파일 구성을 보면 아래와 같습니다.

tree
.
├── assets
│   └── model
│       └── baseline.model
├── outputs
│   └── env.json
├── plxlogs
│   └── 1668473407.747282.plx
└── resources
    └── metric
        ├── cpu_percent_02.plx
        ├── cpu_percent_04.plx
        ├── cpu_percent_05.plx
        ├── cpu_percent_06.plx
        ├── cpu_percent_07.plx
        ├── cpu_percent_08.plx
        ├── gpu_0_memory_free.plx
        ├── gpu_0_memory_used.plx
        ├── gpu_0_utilization.plx
        ├── load_avg.plx
        └── memory_used.plx

6 directories, 14 files

실제로 UI에서 확인할 수 있는 Artifacts의 baseline.model이, 서버에서도 확인된 것을 알 수 있습니다.

이렇게 experiments를 생성한 후 trial을 진행한 결과값은

NFS-MOUNT-POINT/sodaflow-polyaxon-artifacs-store-pvc-XXX/UUID 에서 확인할 수 있습니다.

Model Assets 저장 경로

스파클링소다에서 개발이 완료된 모델을, register model로 등록하게 됩니다.

그렇다면 서버에서는 해당 model이 저장된 경로는 아래와 같습니다.

cd $nfs-mount-point/minio-minio-data-volume-pvc-XXX/minio/mlmodel-repo
pwd
/volumes/minio-minio-data-volume-pvc-4470cf55-a3fd-438a-9b08-a229c9cef912/minio/mlmodel-repo
ls -al
total 0
drwxr-xr-x 4 1000 1000  52 Nov 14 19:55 .
drwxrwxrwx 8 root root 122 Nov 24 23:50 ..
drwxr-xr-x 6 1000 1000  42 Nov 14 19:56 bike-sharing-demand-model
drwxr-xr-x 5 1000 1000  33 Nov 10 00:52 mnist

bike-sharing-demand-model 경로로 들어가 내용을 확인해보겠습니다.

UI에서 확인해보면, 총 4개의 version의 model이 있고, 그 중 1번 version은 export 했습니다.

서버에서 확인해보면, 1번부터 4번까지의 model 파일이 확인이 되고

그 중 1번 model에 대한 export 후의 파일까지도 모두 확인이 됩니다.

cd bike-sharing-demand-model
ls -al
total 0
drwxr-xr-x 6 1000 1000 42 Nov 14 19:56 .
drwxr-xr-x 4 1000 1000 52 Nov 14 19:55 ..
drwxr-xr-x 3 1000 1000 37 Nov 14 20:02 1
drwxr-xr-x 2 1000 1000 25 Nov 14 19:56 2
drwxr-xr-x 2 1000 1000 25 Nov 14 19:56 3
drwxr-xr-x 2 1000 1000 28 Nov 14 19:56 4
tree
.
├── 1
│   ├── rf.model
│   └── tscript
│       └── bike-sharing-demand-model
│           ├── 1
│           │   └── model.onnx
│           ├── config.pbjson
│           └── config.pbtxt
├── 2
│   └── lasso.model
├── 3
│   └── ridge.model
└── 4
    └── baseline.model

7 directories, 7 files

마무리

이렇게 sparklingsoda에서 개발에 model은 서버의 어떤 경로에 저장되어 있는지를 알아보았습니다.