Docker Image Packages 메뉴는 무엇인가요?

아티클 관련 제품: SparklingSoDA3.0

들어가며

• 스파클링소다 Project Explorer 메뉴 중 Docker Images Packages 메뉴에 리스트를 생성하여 관리할 수 있습니다.
• 본래 추가 방법은 수기로 작성되오나, CSV 불러오기 기능을 활용하면 쉽게 모든 패키지 리스트를 추가 할 수 있습니다.

내용

✓ 본 가이드는 스파클링소다 마스터 노드의 Terminal 사용을 필수로 합니다. 

스파클링소다의 프로젝트 메뉴를 보면 중간 화면에 [Docker Image Packages] 라는 탭이 있을 것 입니다.

위 메뉴는 현재 사용 중인 분석 엔진의 도커 이미지에 설치 된 패키지 리스트를 확인하는 메뉴입니다.
하지만 해당 패키지 설치 리스트는 자동으로 추가되지 않으며 Docker Image 등록시 수기로 작성해야 합니다.

✖︎ Docker Image 메뉴, Docker Image 클릭 시 확인할 수 있습니다.

✖︎ 아래 Packages (유형: sys, python, R) 부분에 수기로 작성해주어야 합니다.

하지만 도커 이미지에 설치 된 패키지의 수가 많을 경우 일일이 작성하는 것이 어렵기 때문에, CSV 형식의 파일을 Load하면 자동으로 목록을 불러온 뒤 package 리스트를 작성하는 기능을 지원합니다.

위의 CSV 리스트를 작성하는 것을 도와주는 스크립트가 이미 스파클링소다 설치 파일에 포함되어 있습니다.

▶︎ 터미널에 접속하여 아래의 경로로 이동합니다.

cd ~/sparklingsoda/bin_on_host/get_docker_image_info
ls -al
drwxrwxr-x. 2 root root  78 Oct 27 16:25 .
drwxrwxr-x. 7 root root 106 Aug  9  2021 ..
-rwxrwxr-x. 1 root root 444 Aug  9  2021 get_oslib_list.sh
-rwxrwxr-x. 1 root root 405 Aug  9  2021 get_python_list.sh
-rwxrwxr-x. 1 root root 807 Aug  9  2021 get_R_list.sh

도커 이미지의 패키지 리스트를 추출할 파드의 풀네임을 조회합니다.

kubectl get pod | grep jupyter
jupyterhub-1-2-7-21-558f96fbd9-b6fxf             2/2     Running   4          105d

예시 진행)  jupyterhub-1-2-7-21-558f96fbd9-b6fxf

알아낸 파드의 풀네임으로 아래의 스크립트를 실행합니다.

✖︎ Jupyter는 R을 사용하지 않으므로 아래의 2개의 스크립트만 실행
get_oslib_list.sh <파드풀네임>
get_python_list.sh <파드풀네임>

✓ R을 사용하는 분석엔진의 경우 Python을 생략하고 R을 실행합니다.

bash get_oslib_list.sh jupyterhub-1-2-7-21-558f96fbd9-b6fxf
Defaulting container name to hub.
Use 'kubectl describe pod/jupyterhub-1-2-7-21-558f96fbd9-b6fxf -n devai-cluster' to see all of the containers in this pod.

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

bash get_python_list.sh jupyterhub-1-2-7-21-558f96fbd9-b6fxf
Defaulting container name to hub.
Use 'kubectl describe pod/jupyterhub-1-2-7-21-558f96fbd9-b6fxf -n devai-cluster' to see all of the containers in this pod.

두개의 스크립트를 실행하고나면 스크립트를 실행한 디렉토리에 csv파일이 생성되어 있을 것 입니다.

ls -al
total 36
drwxrwxr-x. 2 root root   190 Oct 27 16:55 .
drwxrwxr-x. 7 root root   106 Aug  9  2021 ..
-rwxrwxr-x. 1 root root   444 Aug  9  2021 get_oslib_list.sh
-rwxrwxr-x. 1 root root   405 Aug  9  2021 get_python_list.sh
-rwxrwxr-x. 1 root root   807 Aug  9  2021 get_R_list.sh
-rw-r--r--. 1 root root 18993 Oct 27 16:53 oslib_jupyterhub-1-2-7-21-558f96fbd9-b6fxf.txt
-rw-r--r--. 1 root root  3734 Oct 27 16:55 pythonlib_jupyterhub-1-2-7-21-558f96fbd9-b6fxf.txt

두개의 파일을 로컬PC로 다운로드 합니다.

포탈 메뉴의 추가 하고자 하는 Docker Image에서 [Load CSV] 버튼을 누릅니다.

다운로드한 파일들을 불러오면 성공적으로 도커 패키지 리스트들이 불어와집니다.

아래의 [저장] 버튼을 눌러 저장합니다.

마무리

• 이제 해당 도커 이미지를 사용하는 분석 엔진의 프로젝트 내용에 아래와 같이 패키지 리스트가 출력됩니다.

✓ 해당 도커 이미지에 어떤 패키지들이 설치되어 있는지 위의 검색창에서 확인이 가능해집니다.