自建分布式轻量网络质量遥测探针（基于 Docker 与 Prometheus）

在基础设施监控与跨境网络质量审计中，依赖社交平台上零散的单次测速截图往往极具误导性。瞬时测试受制于测试客户端本地网络扰动、非高峰闲时突发余量及第三方测速服务器机房的就近加速，无法反映网络全天候尤其是晚高峰高负载下的真实表现。自建一套自动化、多地域、轻量化的网络遥测探针体系，是获取客观网络质量基准数据的标准工程实践。

借助多地域低成本 VPS 与容器化技术，工程师可以用极小的计算资源开销（单探针内存占用低于 30MB）构建覆盖多运营商接入点与核心海外机房的网络遥测集群。本文将详细演示如何基于 Docker 部署 Prometheus 与 Blackbox Exporter，实现对关键链路的 ICMP Ping 与 TCP 握手长周期遥测，并在 Grafana 中配置可视化看板与自动化告警策略。

一、适用场景与软硬件拓扑规范

#### 1. 适用场景 - **专线与中转质量监控**：长期跟踪 IPLC 物理专线或 BGP 中转链路在晚高峰的抖动与丢包，提供 SLA 审计凭证。 - **多机房跨境可用性探测**：跨越华南电信（AS4134）、华东联通（AS4837）、北方移动（AS9808）等不同源端，对香港、东京、新加坡等 POP 点进行端到端质量比对。 - **运营商骨干割接预警**：在海缆中断或运营商骨干路由器板卡割接时，秒级捕捉时延跃升并触发自动化预警。

#### 2. 系统拓扑与计算资源规划 整体系统遵循“边缘探针极简轮询、中心节点定期拉取、时序数据统一聚合”的设计模式： - **边缘探针层（Edge Probes）**：在华南、华东等代表性节点部署 Blackbox Exporter 容器，对外仅暴露探测接口。单核 512MB 内存的轻量 VPS 即可轻松支撑每秒数百个目标的轮询，无需运行任何本地数据库。 - **数据汇聚层（Central Prometheus）**：中心服务器部署 Prometheus 2.54+。Prometheus 采用 Pull 主动拉取模式，按 15 秒间隔调度边缘探针发起探测，并将往返耗时（RTT）与丢包指标保存入本地 TSDB 时序数据库。 - **展示与告警层（Grafana & Alertmanager）**：Grafana 渲染时延与丢包曲线，Alertmanager 在晚高峰恶化时通过 Webhook 发送警报至运维协同群。

二、边缘探针部署与 Blackbox Exporter 配置

#### 1. 编写探针模块配置文件 `blackbox.yml` 在各探针 VPS 上创建工作目录，定义支持 ICMP 物理探测与四层 TCP 握手探测的模块：

```yaml modules: icmp_ping: prober: icmp timeout: 3s icmp: preferred_ip_protocol: ip4 source_ip_address: "" dont_fragment: true tcp_connect: prober: tcp timeout: 5s tcp: preferred_ip_protocol: ip4 http_2xx: prober: http timeout: 8s http: valid_http_versions: ["HTTP/1.1", "HTTP/2.0"] valid_status_codes: [200, 204, 301, 302] method: GET preferred_ip_protocol: ip4 ```

#### 2. 编写 `docker-compose.yml` 启动探针容器 由于 ICMP 报文必须直接调用 Linux 内核原始套接字（RAW Socket），必须在容器参数中赋予 `NET_RAW` Linux Capability：

```yaml services: blackbox-exporter: image: prom/blackbox-exporter:v0.25.0 container_name: blackbox_edge restart: always cap_add: - NET_RAW ports: - "127.0.0.1:9115:9115" volumes: - ./blackbox.yml:/etc/blackbox_exporter/config.yml:ro ```

> **安全提示**：请勿将 9115 端口直接绑定在 0.0.0.0 上。建议配合 WireGuard 内网互联或配置防火墙白名单，仅允许中心 Prometheus 服务器的公网 IP 访问探针端口。

三、中心端 Prometheus 采集调度与重标记规则

在中心监控服务器上，Prometheus 通过向边缘探针传递目标参数的方式驱动探测。

在 `prometheus.yml` 中配置采集作业：

```yaml global: scrape_interval: 15s evaluation_interval: 15s

scrape_configs: - job_name: "edge_probe_icmp" metrics_path: /probe params: module: [icmp_ping] static_configs: - targets: - "45.76.10.1" # 香港核心 PoP - "139.180.20.2" # 东京直连机房 - "165.22.50.1" # 新加坡电信节点 relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: "120.24.1.1:9115" # 深圳电信探针地址 - target_label: probe_region replacement: "Shenzhen-Telecom" - target_label: network_type replacement: "AS4134-163"

- job_name: "edge_probe_tcp" metrics_path: /probe params: module: [tcp_connect] static_configs: - targets: - "45.76.10.1:443" - "139.180.20.2:443" relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: "120.24.1.1:9115" - target_label: probe_region replacement: "Shenzhen-Telecom" ```

四、Grafana 看板 PromQL 公式与 Alertmanager 告警规则

#### 1. Grafana 监控面板核心 PromQL 公式 在 Grafana 中导入 Prometheus 数据源后，添加以下核心监控卡片：

- **平均往返时延（RTT）**： ```promql probe_duration_seconds{job="edge_probe_icmp"} * 1000 ``` - **晚高峰抖动（Jitter，10分钟标准差）**： ```promql stddev_over_time(probe_duration_seconds{job="edge_probe_icmp"}[10m]) * 1000 ``` - **5 分钟滑动丢包率（百分比）**： ```promql (1 - avg_over_time(probe_success{job="edge_probe_icmp"}[5m])) * 100 ``` - **长周期可用性 SLA（24小时达标率）**： ```promql avg_over_time(probe_success{job="edge_probe_icmp"}[24h]) * 100 ```

#### 2. Grafana 多维变量下拉筛选器配置 为避免单看板塞入过多折线，应在看板设置（Dashboard Settings -> Variables）中创建查询变量： - **地域变量（$probe_region）**：`label_values(probe_duration_seconds, probe_region)`，支持单选或全选华南、华东等探针源。 - **线路类型变量（$network_type）**：`label_values(probe_duration_seconds{probe_region=~"$probe_region"}, network_type)`，实现根据选定源端联动筛选运营商。 - **目标节点变量（$target）**：`label_values(probe_duration_seconds, instance)`。 看板面板标题设为 `$probe_region -> $target 往返延迟`，实现一套看板在多地域、多目标间秒级平滑切换。

#### 3. Prometheus 告警规则文件 `alert.rules.yml` 在中心端配置自动化告警规则，针对晚高峰异常劣化与节点宕机及时捕获：

```yaml groups: - name: network_sla_alerts rules: # 规则 1：持续丢包率超标预警（晚高峰丢包超过 5%） - alert: PeakHourPacketLossCritical expr: (1 - avg_over_time(probe_success{job="edge_probe_icmp"}[5m])) * 100 > 5 for: 3m labels: severity: critical annotations: summary: "节点 {{ $labels.instance }} 丢包率告警 (探针: {{ $labels.probe_region }})" description: "目标节点近 5 分钟丢包率达到 {{ $value | printf "%.2f" }}%，已超过 5% 阈值。"

# 规则 2：时延阶跃突增（比过去 1 小时基线高出 50ms） - alert: CrossBorderLatencySpike expr: (probe_duration_seconds{job="edge_probe_icmp"} * 1000) - (avg_over_time(probe_duration_seconds{job="edge_probe_icmp"}[1h]) * 1000) > 50 for: 5m labels: severity: warning annotations: summary: "节点 {{ $labels.instance }} 时延异常跳涨" description: "当前往返时延较基线突增超过 50ms，可能发生骨干网非对称绕路或海缆割接。"

# 规则 3：端到端完全失联告警 - alert: TargetEndpointUnreachable expr: probe_success{job="edge_probe_icmp"} == 0 for: 2m labels: severity: disaster annotations: summary: "目标 {{ $labels.instance }} 完全失联" description: "连续 2 分钟无法收到探针的回显应答，请立即排查上游网络与安全组配置。" ```

#### 3. Alertmanager 告警路由与通知模版 编写 `alertmanager.yml` 将告警聚合推送到即时通讯 Webhook：

```yaml global: resolve_timeout: 5m

route: group_by: ['alertname', 'probe_region'] group_wait: 30s group_interval: 5m repeat_interval: 4h receiver: 'ops-webhook'

receivers: - name: 'ops-webhook' webhook_configs: - url: 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR_BOT_KEY' send_resolved: true ```

五、验证命令、故障排查与内核调优

#### 1. 验证命令 - **本地验证探针输出**： 在探针宿主机执行： ```bash curl -s "http://127.0.0.1:9115/probe?target=1.1.1.1&module=icmp_ping" | grep probe_success ``` 若输出 `probe_success 1` 且 `probe_duration_seconds` 数值正常，表示原始套接字配置成功。 - **中心端 Prometheus 状态核验**： 访问 `http://<Prometheus-IP>:9090/targets`，核实所有探针作业的 Health 状态均为 **UP**。

#### 2. 常见故障排查 - **故障 1：Blackbox 日志提示 `socket: permission denied`** - **根因**：Docker 默认禁止普通容器调用 `RAW Socket` 发送 ICMP 报文。 - **修复**：在 `docker-compose.yml` 中必须保留 `cap_add: [NET_RAW]`，且避免使用非 root 用户覆盖容器执行权限。 - **故障 2：监控目标显示 100% 丢包，但实际 SSH 或 HTTPS 访问正常** - **根因**：目标云服务商安全组或前端防火墙完全禁用了 ICMP Echo Request 应答。 - **修复**：在 Prometheus 抓取配置中将该目标加入 `edge_probe_tcp` 作业，通过探测 443 业务端口的 TCP 三次握手替代物理 Ping。 - **故障 3：大量并发探测时探针宿主机偶发丢包与接收队列溢出** - **根因**：Linux 内核默认接收缓冲区较小，高频发包导致内核丢弃回显报文。 - **修复**：在 `/etc/sysctl.conf` 中增加 `net.core.rmem_max = 16777216` 与 `net.core.rmem_default = 262144`，执行 `sysctl -p` 立即生效。

#### 3. 存储容量规划与回滚方案 Prometheus 存储容量估算公式为：`存储空间 = 采样频率 * 指标样本大小 (约1.5字节) * 保留时长`。以 50 个目标、15 秒采集周期、保留 90 天计算，所需磁盘空间不足 2GB，极具性价比。 如需下线或迁移探针，直接在探针目录下执行 `docker compose down` 即可清理容器。中心端 Prometheus 历史时序数据完整持久化在本地挂载卷中，不会因单点探针维护而丢失历史基准。