sodaflow api를 사용하여 model 하위 구조 알기

작성자 김아름 수정일 2023-02-16 16:21

#SparklingSoDA4.0, #스파클링소다4.0, #Sodaflow, #sodaflow-api, #model

아티클 관련 제품: SparklingSoDA4.0

들어가며

sodaflow-api 를 사용하여, 특정 Dataset의 하위 구조를 파악할 수 있습니다.

API 사용 방법

본 문서는 sodaflow-api 1.2.29 버전을 기준으로 작성하였습니다.

sodaflow-api 에서 tree_model 모듈을 사용할 수 있습니다.

해당 모듈 사용 시, 특정 model의 파일 구조를 파악할 수 있습니다.

필요한 파라미터는 model_name과 model_version 으로, 확인하고자 하는 model의 이름과 버전을 작성합니다.

from sodaflow.api import tree_model as api_tree_model
api_tree_model(model_name='mnist', model_version=1)

위 내용을 작성한 python 파일을 실행하면 아래와 같은 결과를 확인할 수 있습니다.

python api-test.py
['[4.4M]  /', '[2.2M]  /tscript', '[2.2M]  /tscript/mnist', '[2.2M]  /tscript/mnist/1', '[2.2M]  /tscript/mnist/1/model.onnx', '[ 296]  /tscript/mnist/config.pbjson', '[ 322]  /tscript/mnist/config.pbtxt', '[2.2M]  /model.pt', '', '3 directories, 4 files']

해당 결과는 minio의 PV 데이터와 비교해보면, 일치하는 것을 알 수 있습니다.

cd /$NFS_MOUNT_POINT/minio-minio-data-volume-pvc-UUID/minio/dvc-storage/datasets/$DS_NAME
tree
.
├── model.pt
└── tscript
    └── mnist
        ├── 1
        │   └── model.onnx
        ├── config.pbjson
        └── config.pbtxt

3 directories, 4 files

마무리

minio 데이터 혹은 스파클링소다 포탈의 Model Assets 탭에서 직접 확인할 필요 없이,
명령어를 사용해 model 디렉터리의 하위 구조를 파악하는 방법에 대해 알아보았습니다.