Prometheus의 데이터 보관 주기 변경

아티클 관련 제품: SparklingSoDA3.0

들어가며

• 스파클링소다 3.0에는 Prometheus를 통해 기동 된 파드들의 시스템 및 사용량 데이터들을 실시간으로 수집하고 있습니다.

• 해당 수집 기간은 별도의 기간을 지정하지 않을시 15일 동안 보관한 뒤 삭제 됩니다.

• 다음 가이드를 통해 데이터 저장 주기를 변경 해봅니다.

내용

※ 아래 작업 진행시 Prometheus 파드들을 재기동하는 과정이 포함되어 있습니다.

마지막 단계에서 재기동 하는 loss time 동안은 분석 데이터 사용량이 잠시 수집되지 않으니 이 점 참고 바랍니다.
(* 로스 타임 예상 약 5분 이내)

아래의 경로로 이동하여 prometheus의 value.yaml 파일을 열람합니다.

경로 :  ~/sparklingsoda/install/kube-dashboard/prometheus

cd /home/aiadmin/sparklingsoda/install/kube-dashboard/prometheus/
ll
total 100
-rwxrwxr-x. 1 root root   578 Aug 24  2021 Chart.yaml
-rwxrwxr-x. 1 root root   489 Aug 24  2021 install-prometheus.sh
-rwxrwxr-x. 1 root root  5175 Aug 24  2021 make_values.sh
-rwxrwxr-x. 1 root root    46 Aug 24  2021 OWNERS
-rwxrwxr-x. 1 root root 19906 Aug 24  2021 README.md
drwxrwxr-x. 2 root root  4096 Aug 31  2021 templates
-rwxrwxr-x. 1 root root   163 Aug 24  2021 uninstall-prometheus.sh
-rwxrwxr-x. 1 root root    94 Aug 24  2021 upgrade-prometheus.sh
-rwxrwxr-x. 1 root root 32245 Aug 24  2021 values_tmp.yaml
-rwxrwxr-x. 1 root root 12587 Feb 14 23:38 values.yaml

values.yaml을 열람하여 271번째 줄 부근 retention 값을 원하는 day를 입력합니다.

vi values.yaml

    268   podAnnotations: {}
    269   prefixURL: ''
    270   replicaCount: 1
    271   resources: {}
    272   retention: ''
    273   service:

예시) 30일 저장 주기 설정시 '30d' 를 입력합니다.

vi values.yaml

    268   podAnnotations: {}
    269   prefixURL: ''
    270   replicaCount: 1
    271   resources: {}
    272   retention: '30d'
    273   service:

같은 디렉토리 내 uninstall-prometheus.sh 스크립트를 실행합니다.

bash uninstall-prometheus.sh

파드가 모두 Terminating이 완료될 때 까지 기다립니다.

kubectl get pod -n kube-system | grep prometheus
monitoring-prometheus-alertmanager-7b57c5b6c8-qj9wd         2/2     Terminating
monitoring-prometheus-kube-state-metrics-56bc4996cc-nchhf   1/1     Terminating
monitoring-prometheus-node-exporter-7cldn                   1/1     Terminating
monitoring-prometheus-node-exporter-95fmn                   1/1     Terminating
monitoring-prometheus-node-exporter-9qkqh                   1/1     Terminating
monitoring-prometheus-node-exporter-dcf4q                   1/1     Terminating
monitoring-prometheus-node-exporter-vkbr6                   1/1     Terminating
monitoring-prometheus-pushgateway-c8bf4b77d-qbnnl           1/1     Terminating
monitoring-prometheus-server-758b5bc48f-x2lbv               2/2     Terminating

* 모든 파드가 정상적으로 종료되었다면 명령어 조회시 아무 내용이 출력되지 않습니다.

kubectl get pod -n kube-system | grep prometheus


(* 출력 내용 없음)

모든 파드가 정상적으로 종료되었다면 다시 Prometheus 파드를 기동시킵니다.

bash install-prometheus.sh

모든 파드가 정상적으로 기동되었다면 아래와 같이 Running 상태로 조회 됩니다.

kubectl get pod -n kube-system | grep prometheus
monitoring-prometheus-alertmanager-7b57c5b6c8-qj9wd         2/2     Running
monitoring-prometheus-kube-state-metrics-56bc4996cc-nchhf   1/1     Running
monitoring-prometheus-node-exporter-7cldn                   1/1     Running
monitoring-prometheus-node-exporter-95fmn                   1/1     Running
monitoring-prometheus-node-exporter-9qkqh                   1/1     Running
monitoring-prometheus-node-exporter-dcf4q                   1/1     Running
monitoring-prometheus-node-exporter-vkbr6                   1/1     Running
monitoring-prometheus-pushgateway-c8bf4b77d-qbnnl           1/1     Running
monitoring-prometheus-server-758b5bc48f-x2lbv               2/2     Running

마무리

• 위의 가이드를 참고하여 프로메테우스 데이터 저장 기간을 사용자가 원하는 시간으로 변경할 수 있습니다.