日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Prometheus長期遠程存儲方案VictoriaMetrics入門實踐

VictoriaMetrics(簡稱VM) 是一個支持高可用、經(jīng)濟高效且可擴展的監(jiān)控解決方案和時間序列數(shù)據(jù)庫，可用于 Prometheus 監(jiān)控數(shù)據(jù)做長期遠程存儲。

創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比臨川網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式臨川網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋臨川地區(qū)。費用合理售后完善，十余年實體公司更值得信賴。

前面章節(jié)我們介紹了 Thanos 方案也可以用來解決 Prometheus 的高可用和遠程存儲的問題，那么為什么我們還要使用 VictoriaMetrics 呢?相對于 Thanos，VictoriaMetrics 主要是一個可水平擴容的本地全量持久化存儲方案，VictoriaMetrics 不僅僅是時序數(shù)據(jù)庫，它的優(yōu)勢主要體現(xiàn)在以下幾點。

  • 對外支持 Prometheus 相關(guān)的 API，可以直接用于 Grafana 作為 Prometheus 數(shù)據(jù)源使用。
  • 指標(biāo)數(shù)據(jù)攝取和查詢具備高性能和良好的可擴展性，性能比 InfluxDB 和 TimescaleDB 高出 20 倍。
  • 這處理高基數(shù)時間序列時，內(nèi)存方面也做了優(yōu)化，比 InfluxDB 少 10x 倍，比 Prometheus、Thanos 或 Cortex 少 7 倍。
  • 高性能的數(shù)據(jù)壓縮方式，與 TimescaleDB 相比，可以將多達 70 倍的數(shù)據(jù)點存入有限的存儲空間，與 Prometheus、Thanos 或 Cortex 相比，所需的存儲空間減少 7 倍。
  • 它針對具有高延遲 IO 和低 IOPS 的存儲進行了優(yōu)化。
  • 提供全局的查詢視圖，多個 Prometheus 實例或任何其他數(shù)據(jù)源可能會將數(shù)據(jù)攝取到 VictoriaMetrics。
  • 操作簡單
  1. VictoriaMetrics 由一個沒有外部依賴的小型可執(zhí)行文件組成
  2. 所有的配置都是通過明確的命令行標(biāo)志和合理的默認(rèn)值完成的
  3. 所有數(shù)據(jù)都存儲在 - storageDataPath 命令行參數(shù)指向的目錄中
  4. 可以使用 vmbackup/vmrestore 工具輕松快速地從實時快照備份到 S3 或 GCS 對象存儲中
  • 支持從第三方時序數(shù)據(jù)庫獲取數(shù)據(jù)源
  • 由于存儲架構(gòu)，它可以保護存儲在非正常關(guān)機(即 OOM、硬件重置或 kill -9)時免受數(shù)據(jù)損壞
  • 同樣支持指標(biāo)的 relabel 操作

架構(gòu)

VM 分為單節(jié)點和集群兩個方案，根據(jù)業(yè)務(wù)需求選擇即可。單節(jié)點版直接運行一個二進制文件既，官方建議采集數(shù)據(jù)點(data points)低于 100w/s，推薦 VM 單節(jié)點版，簡單好維護，但不支持告警。集群版支持?jǐn)?shù)據(jù)水平拆分。下圖是 VictoriaMetrics 集群版官方的架構(gòu)圖。

主要包含以下幾個組件：

  • vmstorage：數(shù)據(jù)存儲以及查詢結(jié)果返回，默認(rèn)端口為 8482。
  • vminsert：數(shù)據(jù)錄入，可實現(xiàn)類似分片、副本功能，默認(rèn)端口 8480。
  • vmselect：數(shù)據(jù)查詢，匯總和數(shù)據(jù)去重，默認(rèn)端口 8481。
  • vmagent：數(shù)據(jù)指標(biāo)抓取，支持多種后端存儲，會占用本地磁盤緩存，默認(rèn)端口 8429。
  • vmalert：報警相關(guān)組件，不如果不需要告警功能可以不使用該組件，默認(rèn)端口為 8880。

集群方案把功能拆分為 vmstorage、 vminsert、vmselect 組件，如果要替換 Prometheus，還需要使用 vmagent、vmalert。從上圖也可以看出 vminsert 以及 vmselect 都是無狀態(tài)的，所以擴展很簡單，只有 vmstorage 是有狀態(tài)的。

vmagent 的主要目的是用來收集指標(biāo)數(shù)據(jù)然后存儲到 VM 以及 Prometheus 兼容的存儲系統(tǒng)中(支持 remote_write 協(xié)議即可)。

下圖是 vmagent 的一個簡單架構(gòu)圖，可以看出該組件也實現(xiàn)了 metrics 的 push 功能，此外還有很多其他特性：

  • 替換 prometheus 的 scraping target
  • 支持基于 prometheus relabeling 的模式添加、移除、修改 labels，可以方便在數(shù)據(jù)發(fā)送到遠端存儲之前進行數(shù)據(jù)的過濾
  • 支持多種數(shù)據(jù)協(xié)議，influx line 協(xié)議，graphite 文本協(xié)議，opentsdb 協(xié)議，prometheus remote write 協(xié)議，json lines 協(xié)議，csv 數(shù)據(jù)
  • 支持收集數(shù)據(jù)的同時，并復(fù)制到多種遠端存儲系統(tǒng)
  • 支持不可靠遠端存儲(通過本地存儲 -remoteWrite.tmpDataPath )，同時支持最大磁盤占用
  • 相比 prometheus 使用較少的內(nèi)存、cpu、磁盤 io 以及網(wǎng)絡(luò)帶寬

接下來我們就分別來介紹了 VM 的單節(jié)點和集群兩個方案的使用。

單節(jié)點

這里我們采集 node-exporter 為例進行說明，首先使用 Prometheus 采集數(shù)據(jù)，然后將 Prometheus 數(shù)據(jù)遠程寫入 VM 遠程存儲，由于 VM 提供了 vmagent 組件，最后我們使用 VM 來完全替換 Prometheus，可以使架構(gòu)更簡單、更低的資源占用。

這里我們將所有資源運行在 kube-vm 命名空間之下：

  kubectl create ns kube-vm

首先我們這 kube-vm 命名空間下面使用 DaemonSet 控制器運行 node-exporter，對應(yīng)的資源清單文件如下所示：

# vm-node-exporter.yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: node-exporter
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: node-exporter
  template:
    metadata:
      labels:
        app: node-exporter
    spec:
      hostPID: true
      hostIPC: true
      hostNetwork: true
      nodeSelector:
        kubernetes.io/os: linux
      containers:
        - name: node-exporter
          image: prom/node-exporter:v1.3.1
          args:
            - --web.listen-address=$(HOSTIP):9111
            - --path.procfs=/host/proc
            - --path.sysfs=/host/sys
            - --path.rootfs=/host/root
            - --no-collector.hwmon # 禁用不需要的一些采集器
            - --no-collector.nfs
            - --no-collector.nfsd
            - --no-collector.nvme
            - --no-collector.dmi
            - --no-collector.arp
            - --collector.filesystem.ignored-mount-points=^/(dev|proc|sys|var/lib/containerd/.+|/var/lib/docker/.+|var/lib/kubelet/pods/.+)($|/)
            - --collector.filesystem.ignored-fs-types=^(autofs|binfmt_misc|cgroup|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|sysfs|tracefs)$
          ports:
            - containerPort: 9111
          env:
            - name: HOSTIP
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
          resources:
            requests:
              cpu: 150m
              memory: 180Mi
            limits:
              cpu: 150m
              memory: 180Mi
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          volumeMounts:
            - name: proc
              mountPath: /host/proc
            - name: sys
              mountPath: /host/sys
            - name: root
              mountPath: /host/root
              mountPropagation: HostToContainer
              readOnly: true
      tolerations: # 添加容忍
        - operator: "Exists"
      volumes:
        - name: proc
          hostPath:
            path: /proc
        - name: dev
          hostPath:
            path: /dev
        - name: sys
          hostPath:
            path: /sys
        - name: root
          hostPath:
            path: /

由于前面章節(jié)中我們也創(chuàng)建了 node-exporter，為了防止端口沖突，這里我們使用參數(shù) --web.listen-address=$(HOSTIP):9111 配置端口為 9111。直接應(yīng)用上面的資源清單即可。

  kubectl apply -f vm-node-exporter.yaml
  kubectl get pods -n kube-vm -owide
NAME                  READY   STATUS    RESTARTS   AGE    IP              NODE      NOMINATED NODE   READINESS GATES
node-exporter-c4d76   1/1     Running   0          118s   192.168.0.109   node2                
node-exporter-hzt8s   1/1     Running   0          118s   192.168.0.111   master1              
node-exporter-zlxwb   1/1     Running   0          118s   192.168.0.110   node1

然后重新部署一套獨立的 Prometheus，為了簡單我們直接使用 static_configs 靜態(tài)配置方式來抓取 node-exporter 的指標(biāo)，配置清單如下所示：

# vm-prom-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-config
  namespace: kube-vm
data:
  prometheus.yaml: |
    global:
      scrape_interval: 15s
      scrape_timeout: 15s
    scrape_configs:
    - job_name: "nodes"
      static_configs:
      - targets: ['192.168.0.109:9111', '192.168.0.110:9111', '192.168.0.111:9111']
      relabel_configs: # 通過 relabeling 從 __address__ 中提取 IP 信息，為了后面驗證 VM 是否兼容 relabeling
      - source_labels: [__address__]
        regex: "(.*):(.*)"
        replacement: "${1}"
        target_label: 'ip'
        action: replace

上面配置中通過 relabel 操作從 __address__ 中將 IP 信息提取出來，后面可以用來驗證 VM 是否兼容 relabel 操作。

同樣要給 Prometheus 數(shù)據(jù)做持久化，所以也需要創(chuàng)建一個對應(yīng)的 PVC 資源對象：

# apiVersion: storage.k8s.io/v1
# kind: StorageClass
# metadata:
#   name: local-storage
# provisioner: kubernetes.io/no-provisioner
# volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: prometheus-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 20Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/prometheus
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: prometheus-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local-storage

然后直接創(chuàng)建 Prometheus 即可，將上面的 PVC 和 ConfigMap 掛載到容器中，通過 --config.file 參數(shù)指定配置文件文件路徑，指定 TSDB 數(shù)據(jù)路徑等，資源清單文件如下所示：

# vm-prom-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: prometheus
  template:
    metadata:
      labels:
        app: prometheus
    spec:
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: prometheus-data
        - name: config-volume
          configMap:
            name: prometheus-config
      containers:
        - image: prom/prometheus:v2.35.0
          name: prometheus
          args:
            - "--config.file=/etc/prometheus/prometheus.yaml"
            - "--storage.tsdb.path=/prometheus" # 指定tsdb數(shù)據(jù)路徑
            - "--storage.tsdb.retention.time=2d"
            - "--web.enable-lifecycle" # 支持熱更新，直接執(zhí)行l(wèi)ocalhost:9090/-/reload立即生效
          ports:
            - containerPort: 9090
              name: http
          securityContext:
            runAsUser: 0
          volumeMounts:
            - mountPath: "/etc/prometheus"
              name: config-volume
            - mountPath: "/prometheus"
              name: data
---
apiVersion: v1
kind: Service
metadata:
  name: prometheus
  namespace: kube-vm
spec:
  selector:
    app: prometheus
  type: NodePort
  ports:
    - name: web
      port: 9090
      targetPort: http

直接應(yīng)用上面的資源清單即可。

  kubectl apply -f vm-prom-config.yaml
  kubectl apply -f vm-prom-pvc.yaml
  kubectl apply -f vm-prom-deploy.yaml
  kubectl get pods -n kube-vm -owide
NAME                      READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE   READINESS GATES
node-exporter-c4d76       1/1     Running   0          27m     192.168.0.109   node2                
node-exporter-hzt8s       1/1     Running   0          27m     192.168.0.111   master1              
node-exporter-zlxwb       1/1     Running   0          27m     192.168.0.110   node1                
prometheus-dfc9f6-2w2vf   1/1     Running   0          4m58s   10.244.2.102    node2                
  kubectl get svc -n kube-vm
NAME         TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
prometheus   NodePort   10.103.38.114           9090:31890/TCP   4m10s

部署完成后可以通過 http://:31890 訪問 Prometheus，正?？梢钥吹讲杉?3 個 node 節(jié)點的指標(biāo)任務(wù)。

同樣的方式重新部署 Grafana，資源清單如下所示：

# vm-grafana.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: grafana
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: grafana
  template:
    metadata:
      labels:
        app: grafana
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: grafana-data
      containers:
        - name: grafana
          image: grafana/grafana:main
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 3000
              name: grafana
          securityContext:
            runAsUser: 0
          env:
            - name: GF_SECURITY_ADMIN_USER
              value: admin
            - name: GF_SECURITY_ADMIN_PASSWORD
              value: admin321
          volumeMounts:
            - mountPath: /var/lib/grafana
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: grafana
  namespace: kube-vm
spec:
  type: NodePort
  ports:
    - port: 3000
  selector:
    app: grafana
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: grafana-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 1Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/grafana
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: grafana-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi
  storageClassName: local-storage
  kubectl apply -f vm-grafana.yaml
  kubectl get svc -n kube-vm |grep grafana
grafana      NodePort   10.97.111.153           3000:31800/TCP   62s

同樣通過 http://:31800 就可以訪問 Grafana 了，進入 Grafana 配置 Prometheus 數(shù)據(jù)源。

然后導(dǎo)入 16098 這個 Dashboard，導(dǎo)入后效果如下圖所示。

到這里就完成了使用 Prometheus 收集節(jié)點監(jiān)控指標(biāo)，接下來我們來使用 VM 來改造現(xiàn)有方案。

遠程存儲 VictoriaMetrics

首先需要一個單節(jié)點模式的 VM，運行 VM 很簡單，可以直接下載對應(yīng)的二進制文件啟動，也可以使用 docker 鏡像一鍵啟動，我們這里同樣部署到 Kubernetes 集群中。資源清單文件如下所示。

# vm-grafana.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: victoria-metrics
  namespace: kube-vm
spec:
  selector:
    matchLabels:
      app: victoria-metrics
  template:
    metadata:
      labels:
        app: victoria-metrics
    spec:
      volumes:
        - name: storage
          persistentVolumeClaim:
            claimName: victoria-metrics-data
      containers:
        - name: vm
          image: victoriametrics/victoria-metrics:v1.76.1
          imagePullPolicy: IfNotPresent
          args:
            - -storageDataPath=/var/lib/victoria-metrics-data
            - -retentionPeriod=1w
          ports:
            - containerPort: 8428
              name: http
          volumeMounts:
            - mountPath: /var/lib/victoria-metrics-data
              name: storage
---
apiVersion: v1
kind: Service
metadata:
  name: victoria-metrics
  namespace: kube-vm
spec:
  type: NodePort
  ports:
    - port: 8428
  selector:
    app: victoria-metrics
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: victoria-metrics-data
spec:
  accessModes:
    - ReadWriteOnce
  capacity:
    storage: 20Gi
  storageClassName: local-storage
  local:
    path: /data/k8s/vm
  persistentVolumeReclaimPolicy: Retain
  nodeAffinity:
    required:
      nodeSelectorTerms:
        - matchExpressions:
            - key: kubernetes.io/hostname
              operator: In
              values:
                - node2
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: victoria-metrics-data
  namespace: kube-vm
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  storageClassName: local-storage

這里我們使用 -storageDataPath 參數(shù)指定了數(shù)據(jù)存儲目錄，然后同樣將該目錄進行了持久化，-retentionPeriod 參數(shù)可以用來配置數(shù)據(jù)的保持周期。直接應(yīng)用上面的資源清單即可。

  kubectl apply -f vm-single-node-deploy.yaml
  kubectl get svc victoria-metrics -n kube-vm
NAME               TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
victoria-metrics   NodePort   10.106.216.248           8428:31953/TCP   75m
  kubectl get pods -n kube-vm -l app=victoria-metrics
NAME                                READY   STATUS    RESTARTS   AGE
victoria-metrics-57d47f4587-htb88   1/1     Running   0          3m12s
  kubectl logs -f victoria-metrics-57d47f4587-htb88 -n kube-vm
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:12   build version: victoria-metrics-20220412-134346-tags-v1.76.1-0-gf8de318bf
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:13   command line flags
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:20   flag "retentionPeriod"="1w"
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/lib/logger/flag.go:20   flag "storageDataPath"="/var/lib/victoria-metrics-data"
2022-04-22T08:59:14.431Z        info    VictoriaMetrics/app/victoria-metrics/main.go:52 starting VictoriaMetrics at ":8428"...
2022-04-22T08:59:14.432Z        http://www.5511xx.com/article/cojjjdg.html