你的服务真的在线吗Prometheus+Blackbox给你答案

首页 > 博客 > cpolar > 你的服务真的在线吗Prometheus+Blackbox给你答案

前言

你有没有过这样的经历：

监控面板一片绿，系统指标一切正常，却突然收到用户反馈——“网站打不开了”、“API 返回 502”、“支付接口超时”……

问题出在哪？原来，传统的 Prometheus 监控大多依赖应用内部暴露的指标（白盒监控），一旦服务进程假死、网络策略拦截、DNS 解析失败，或者负载均衡后端异常，这些“外部不可达”的问题，根本不会体现在内部指标里。

这时候，你需要的是黑盒监控——像真实用户一样，从外部主动探测服务的可达性、响应时间和状态码。

而 Blackbox Exporter 正是 Prometheus 官方推荐的黑盒探测工具。它支持 HTTP/HTTPS、TCP、ICMP（ping）、DNS 等多种协议，只需简单配置，就能让 Prometheus 主动“敲门”检查你的服务是否真正可用。

本文将带你快速上手 Blackbox Exporter，教你如何用 Prometheus 实现对网站、API、端口乃至整个链路的主动可用性监控，真正做到：服务是否在线，数据说了算，而不是用户投诉说了算。

1.ubuntu安装Blackbox_Exporter监控数据

通过以下命令创建一个用于存放Blackbox_Exporter的目录 /app：

mkdir /app

进入到/app目录下：

cd /app

从prometheus官网下载压缩文件：https://prometheus.io/download/

下载适用于Linux系统的文件。

下载完成后记住下载路径。

手动上传到/app下载好的Blackbox_Exporter文件。

上传成功后解压：

tar -zxvf blackbox_exporter-0.27.0.linux-arm64.tar.gz

改名方便记忆：

mv blackbox_exporter-0.27.0.linux-arm64 blackbox_exporter

将Altermanager配置为系统服务:

cd /usr/lib/systemd/system

vim blackbox_exporter.service

[Unit]
Description=https://prometheus.io

[Service]
Restart=on-failure
ExecStart=/app/alertmanager --config.file=/app/alertmanager.yml

[Install]                      
WantedBy=multi-user.target

加载system文件，启动alertmanager这个服务，并设置开机启动：

systemctl daemon-reload
systemctl start blackbox_exporter.service
systemctl enable blackbox_exporter.service

启动成功后，访问blackbox_exporter，ip+9115，默认端口为 9115。

2.配置prometheus监控Blackbox_Exporter指标

服务进程正常，用户却连不上？问题可能出在网络层。

通过 Prometheus + Blackbox Exporter 的 ping 探测，我们可以实时监控丢包率——一旦超过 50%，立即告警，提前发现链路异常，防患于未然。

跟我一起操作吧~

以防万一怕操作错误，先把原来的配置文件先备份，之后配置配置文件：

mv blackbox.yml blackbox.yml
vi blackbox.yml

modules:
  http_2xx:
    prober: http
  http_post_2xx:
    prober: http
    http:
      method: POST
  tcp_connect:
    prober: tcp
  pop3s_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^+OK"
      tls: true
      tls_config:
        insecure_skip_verify: false
  ssh_banner:
    prober: tcp
    tcp:
      query_response:
      - expect: "^SSH-2.0-"
  irc_banner:
    prober: tcp
    tcp:
      query_response:
      - send: "NICK prober"
      - send: "USER prober prober prober :prober"
      - expect: "PING :([^ ]+)"
        send: "PONG ${1}"
      - expect: "^:[^ ]+ 001"
  icmp:
    prober: icmp
  icmp:
    prober: icmp
    timeout: 5s
    icmp:
      preferred_ip_protocol: "ip4"

重新启动black_exporter服务：

systemctl restart blackbox_exporter.service

修改prometheus配置文件：

vi prometheus.yml

添加告警配置（添加自己想监控的地址）：

  - job_name: "http"
    metrics_path: /probe
    scrape_interval: 60s
    params:
      module: [http_2xx]
    static_configs:
      - targets:
        - http://192.168.50.134:9100/
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address
        replacement: 192.168.50.134:9115

  - job_name: 'ping_monitor'
    metrics_path: /probe
    params:
      module: [icmp]
    static_configs:
      - targets:
        - www.baidu.com
        - www.google.com
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.168.50.134:9115

重启prometheus服务后，可以查看到我们添加的指标;

配置告警规则：

groups:
  - name: icmp-loss-alerts
    rules:
      - alert: HighPingLossRate
        expr: |
          1 - avg_over_time(probe_success{job="ping_monitor"}[5m]) > 0.5
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "高 Ping 丢包率 (实例: {{ $labels.instance }})"
          description: "目标 {{ $labels.instance }} 在过去 5 分钟内的 Ping 丢包率超过 50%（当前丢包率: {{ $value | printf \"%.2f\" }}）"