노트북에서 Dataset Upload 하기

작성자 김아름 수정일 2022-11-01 10:51

#SparklingSoDA4.0, #스파클링소다4.0, #주피터, #jupyter, #Notebook

아티클 관련 제품: SparklingSoDA4.0

이 글을 읽으면

노트북 내에서 sodaflow api를 사용하여 Dataset 업로드를 할 수 있습니다.

사전 작업 및 준비

업로드 하고자 하는 Dataset을 준비합니다.

Sodaflow API 사용하기

주피터 노트북을 실행 한 후, ipynb 파일을 실행합니다.

프롬프트 창에 아래와 같이 sodaflow의 api를 호출합니다.

from sodaflow import api

이제 api 모듈를 사용하여 Dataset을 업로드 합니다.

api. 까지 입력한 뒤, tab 키를 누르면 사용할 수 있는 함수의 리스트를 확인할 수 있습니다.

upload_dataset 함수를 불러오겠습니다.

api.upload_dataset()

upload_dataset 함수의 매개변수를 확인하기 위해 shift + tab 키를 활용합니다.

위 결과를 보면, ds_name과 local_path는 필수 입력값입니다.

ds_name은 업로드 하는 Dataset의 Name입니다.

local_path는 업로드 하는 Dataset이 위치하고 있는 경로입니다.

현재 경로를 알기 위해서 terminal을 열어줍니다.

현재 경로에 업로드 하고자 하는 Dataset이 있습니다.

ls -al
total 48
drwxr-xr-x 5 winter winter  235 Oct 31 21:35  .
drwxrwxrwx 4 winter winter   38 Oct 31 21:20  ..
drwxr-xr-x 8 winter winter  163 Oct 31 21:35  .git
drwxr-xr-x 2 winter winter   39 Oct 31 21:25  .ipynb_checkpoints
-rw-r--r-- 1 winter winter 4224 Oct 31 21:20 '1. iris저장.ipynb'
-rw-r--r-- 1 winter winter 8436 Oct 31 21:20 '2. iris불러와 수정하기.ipynb'
-rw-r--r-- 1 winter winter 8539 Oct 31 21:20 '3. dataset-test.ipynb'
-rw-r--r-- 1 winter winter 4647 Oct 31 21:20 '4. iris불러오기.ipynb'
-rw-r--r-- 1 winter winter   12 Oct 31 21:20  README.md
-rw-r--r-- 1 winter winter  899 Oct 31 21:35  Untitled.ipynb
drwxr-xr-x 3 winter winter   51 Oct 31 21:27  test_dataset

현재 경로는 아래와 같습니다.

pwd
/notebooks/test-prj

다시 ipynb로 돌아가, ds_name과 local_path를 입력합니다.

api.upload_dataset(ds_name='test_dataset', local_path='/notebooks/test-prj')

아래와 같이 정상적으로 Dataset이 업로드 된 것을 알 수 있습니다.

ui에서도 확인할 수 있습니다.

Dataset을 수정하여 update 하려면 아래와 같이 진행합니다.

02_data라는 파일을 추가하였습니다.

마찬가지로, api 모듈을 사용해 update 합니다.

api.update_dataset(ds_name='test_dataset', local_path='/notebooks/test-prj')

아래와 같이 정상적으로 Dataset이 업데이트 된 것을 알 수 있습니다.

ui에서도 확인할 수 있습니다.

마치며

sodaflow api를 통해 Dataset을 업로드 및 업데이트 하는 방법을 알아보았습니다.
api가 제공하는 다른 함수들도 활용하여 효율적인 스파클링소다 사용법을 익히는 것을 추천합니다.