Grafana + Prometheus 是当前企业级大数据监控体系中最主流、最可靠的开源组合之一。它不仅适用于云原生环境，也广泛应用于传统数据中心、数字孪生系统和数据中台的实时可观测性建设。对于希望构建统一监控平台、提升系统稳定性与运维效率的企业而言，掌握该组合的部署与配置流程，是实现数据可视化与智能告警的关键一步。---### 一、为什么选择 Grafana + Prometheus 进行大数据监控？在大数据环境下，系统组件繁多、数据流复杂、延迟敏感。传统监控工具难以应对高吞吐、多维度、低延迟的监控需求。Prometheus 与 Grafana 的组合，恰好解决了这些问题：- **Prometheus**：专为时序数据设计，采用拉取（pull）模式采集指标，支持多维数据模型（Label + Metric），具备强大的查询语言 PromQL，可高效聚合海量指标。- **Grafana**：提供高度可定制的可视化面板，支持多种数据源，可将 Prometheus 的指标以图表、热力图、仪表盘等形式直观呈现，支持告警规则联动与多租户管理。二者结合，形成“采集 + 存储 + 查询 + 可视化 + 告警”一体化闭环，是构建数字孪生系统中设备状态、服务性能、资源利用率等关键指标监控的黄金标准。[申请试用&https://www.dtstack.com/?src=bbs](https://www.dtstack.com/?src=bbs)---### 二、部署环境准备#### 1. 系统要求- 操作系统：推荐 Ubuntu 20.04+ 或 CentOS 8+- 内存：至少 8GB（生产环境建议 16GB+）- 磁盘：根据指标保留周期决定，建议 SSD，预留 100GB+ 存储空间- 网络：开放 9090（Prometheus）、3000（Grafana）端口，允许目标服务暴露 /metrics 接口#### 2. 安装 Docker（推荐方式）为简化部署与依赖管理，建议使用 Docker Compose 进行容器化部署。```bash# 安装 Dockercurl -fsSL https://get.docker.com | sh# 安装 Docker Composesudo curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-composesudo chmod +x /usr/local/bin/docker-compose```验证安装：```bashdocker --versiondocker-compose --version```---### 三、Prometheus 部署与核心配置#### 1. 创建 Prometheus 配置文件新建 `prometheus.yml` 文件，定义采集目标与规则：```yamlglobal: scrape_interval: 15s evaluation_interval: 15sscrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'node-exporter' static_configs: - targets: ['192.168.1.10:9100', '192.168.1.11:9100'] # 节点监控 - job_name: 'kubernetes-pods' kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.+) - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace target_label: __address__ regex: (.+):(?:\d+);(\d+) replacement: $1:$2```> ✅ 关键点：Prometheus 通过 `job_name` 分组采集目标，每个目标需暴露 `/metrics` HTTP 接口。建议为 Kafka、Hadoop、Flink、Spark 等大数据组件部署对应 Exporter（如 `kafka_exporter`、`hadoop_exporter`）。#### 2. 启动 Prometheus 容器创建 `docker-compose.yml`：```yamlversion: '3.8'services: prometheus: image: prom/prometheus:v2.51.0 container_name: prometheus restart: unless-stopped ports: - "9090:9090" volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - prometheus_data:/prometheus command: - '--config.file=/etc/prometheus/prometheus.yml' - '--storage.tsdb.path=/prometheus' - '--web.console.templates=/etc/prometheus/consoles' - '--web.console.templates=/etc/prometheus/console_templates' - '--web.listen-address=0.0.0.0:9090'volumes: prometheus_data:```启动服务：```bashdocker-compose up -d```访问 `http://<你的IP>:9090`，进入 Prometheus Web UI，点击 **Status > Targets**，确认所有目标状态为 **UP**。---### 四、Grafana 部署与数据源配置#### 1. 启动 Grafana 容器在 `docker-compose.yml` 中追加 Grafana 服务：```yaml grafana: image: grafana/grafana:10.2.0 container_name: grafana restart: unless-stopped ports: - "3000:3000" environment: - GF_SECURITY_ADMIN_USER=admin - GF_SECURITY_ADMIN_PASSWORD=your_secure_password volumes: - grafana_data:/var/lib/grafana depends_on: - prometheusvolumes: grafana_data:```重启服务：```bashdocker-compose down && docker-compose up -d```访问 `http://<你的IP>:3000`，使用默认账号 `admin` / `your_secure_password` 登录。#### 2. 添加 Prometheus 数据源- 进入 **Configuration > Data Sources**- 点击 **Add data source**- 选择 **Prometheus**- 设置 URL：`http://prometheus:9090`（Docker 内部通信）- 点击 **Save & Test**，显示 “Data source is working” 即成功#### 3. 导入官方监控模板Grafana 社区提供大量预置仪表盘，推荐导入以下模板：| 模板 ID | 名称 | 用途 ||--------|------|------|| 1860 | Node Exporter Full | 服务器 CPU、内存、磁盘、网络监控 || 1861 | Prometheus 2.0 Stats | Prometheus 自身运行状态监控 || 11074 | Kafka Exporter | Kafka 集群 Topic、Consumer Lag、Broker 状态 || 11550 | Flink JobManager & TaskManager | Flink 任务并行度、吞吐、延迟 |> 在 Grafana 左侧导航栏点击 **+ > Import**，输入模板 ID，选择 Prometheus 数据源即可加载。---### 五、关键指标监控与 PromQL 实战#### 1. 服务器资源监控（Node Exporter）- **CPU 使用率**：`100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)`- **内存使用率**：`(node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100`- **磁盘 IO 延迟**：`rate(node_disk_io_time_seconds_total[1m])`#### 2. 大数据组件监控示例- **Kafka 消费滞后**：`kafka_consumergroup_lag{group="your-consumer-group"}`- **HDFS 剩余空间**：`hdfs_dfs_used_percent`- **Flink 任务延迟**：`flink_taskmanager_job_task_operator_latency{job_name="your-job"}`> 📌 提示：PromQL 支持聚合（`sum()`）、分组（`by()`）、时间窗口（`[5m]`）、函数（`rate()`、`increase()`），是构建复杂监控逻辑的核心工具。#### 3. 创建自定义仪表盘- 点击 **+ > Dashboard > Add new panel**- 选择 Prometheus 数据源- 输入 PromQL 查询语句- 设置图表类型（折线图、统计图、热力图）- 添加标题、单位、颜色、阈值线- 保存为“大数据集群监控总览”---### 六、告警规则配置（Alertmanager）Prometheus 本身不发送告警，需集成 Alertmanager。#### 1. 添加 Alertmanager 到 docker-compose.yml```yaml alertmanager: image: prom/alertmanager:v0.26.0 container_name: alertmanager ports: - "9093:9093" volumes: - ./alertmanager.yml:/etc/alertmanager/alertmanager.yml```#### 2. 编写告警规则 `prometheus_alerts.yml````yamlgroups:- name: node-alerts rules: - alert: HighCPUUsage expr: 100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 85 for: 5m labels: severity: critical annotations: summary: "High CPU usage on {{ $labels.instance }}" description: "CPU usage has been above 85% for more than 5 minutes."```在 `prometheus.yml` 中引入：```yamlrule_files: - "prometheus_alerts.yml"```#### 3. 配置告警通知在 `alertmanager.yml` 中配置邮件、企业微信或 Webhook：```yamlroute: receiver: 'email-notifications'receivers:- name: 'email-notifications' email_configs: - to: 'ops@yourcompany.com' from: 'alert@yourcompany.com' smarthost: 'smtp.gmail.com:587' auth_username: 'your-email@gmail.com' auth_password: 'your-app-password'```重启服务后，Prometheus 会将触发的告警发送至 Alertmanager，再由其分发。[申请试用&https://www.dtstack.com/?src=bbs](https://www.dtstack.com/?src=bbs)---### 七、进阶优化建议| 优化方向 | 实施建议 ||----------|----------|| **高可用** | 部署多个 Prometheus 实例 + Thanos 或 Cortex 实现联邦与长期存储 || **长期存储** | 配置远程写入（Remote Write）至 VictoriaMetrics 或 InfluxDB || **自动化** | 使用 Terraform 或 Ansible 自动化部署多集群监控 || **权限控制** | Grafana 启用 SSO（LDAP/OAuth2），实现企业账号集成 || **性能调优** | 调整 `storage.tsdb.retention.time` 为 30d~90d，避免磁盘爆满 |---### 八、典型应用场景- **数据中台**：监控 ETL 任务执行时长、数据吞吐量、失败率- **数字孪生**：实时展示物理设备的虚拟映射状态（如温度、压力、振动）- **实时数仓**：跟踪 Kafka 消费延迟、Flink Checkpoint 耗时、Druid 查询响应- **AI 推理服务**：监控模型请求 QPS、延迟、GPU 利用率这些场景均依赖于高精度、低延迟、多维度的指标采集与可视化能力，而 Grafana + Prometheus 正是为此而生。---### 九、常见问题与解决方案| 问题 | 解决方案 ||------|----------|| Prometheus 无法采集目标 | 检查目标是否暴露 `/metrics`，防火墙是否放行，Prometheus 配置中的 `targets` 是否正确 || Grafana 图表无数据 | 确认数据源 URL 正确，PromQL 语法无误，时间范围是否合理 || 告警未触发 | 检查 `for` 时间是否过长，Prometheus 是否加载了规则文件 || 磁盘占用过高 | 启用压缩、缩短保留周期，或接入远程存储 |---### 十、总结：构建企业级监控体系的下一步Grafana + Prometheus 不仅是一套工具，更是一种可观测性文化。它让运维从“被动救火”转向“主动预警”，让数据团队从“看报表”升级为“懂趋势”。对于正在建设数据中台、推进数字孪生项目的企业，部署这套监控体系，意味着：- ✅ 实时感知系统健康状态 - ✅ 快速定位性能瓶颈 - ✅ 降低故障恢复时间（MTTR） - ✅ 为自动化运维与 AI 预测提供高质量数据基础 [申请试用&https://www.dtstack.com/?src=bbs](https://www.dtstack.com/?src=bbs)如需进一步扩展功能（如日志采集、链路追踪、自动化扩缩容），可结合 Loki、Tempo、Kubernetes HPA 等组件，构建完整的 Observability 栈。建议企业从核心大数据服务开始试点，逐步覆盖全链路，最终实现“一切皆可监控、一切皆可优化”的智能运维目标。申请试用&下载资料
点击袋鼠云官网申请免费试用：https://www.dtstack.com/?src=bbs
点击袋鼠云资料中心免费下载干货资料：https://www.dtstack.com/resources/?src=bbs
《数据资产管理白皮书》下载地址：https://www.dtstack.com/resources/1073/?src=bbs
《行业指标体系白皮书》下载地址：https://www.dtstack.com/resources/1057/?src=bbs
《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001/?src=bbs
《数栈V6.0产品白皮书》下载地址：https://www.dtstack.com/resources/1004/?src=bbs

免责声明
本文内容通过AI工具匹配关键字智能整合而成，仅供参考，袋鼠云不对内容的真实、准确或完整作任何形式的承诺。如有其他问题，您可以通过联系400-002-1024进行反馈，袋鼠云收到您的反馈后将及时答复和处理。