Google Cloud Cloud Monitoring实现业务指标与基础设施关联告警

👍 告警是保障云服务稳定性的重要一环。将业务指标与基础设施指标关联起来，可以在问题发生时更快地定位根本原因。

Cloud Monitoring 简介

Cloud Monitoring 是 Google Cloud 的监控服务，可以收集和分析来自各种来源的指标、日志和事件。它提供了丰富的可视化、告警和分析功能，帮助用户了解其云服务的运行状况。

业务指标与基础设施指标

• 业务指标：反映业务层面的关键性能指标，例如：
  • 请求延迟
  • 错误率
  • 活跃用户数
  • 订单成功率
• 基础设施指标：反映底层资源的使用情况，例如：
  • CPU 使用率
  • 内存使用率
  • 磁盘 I/O
  • 网络流量

关联告警的实现步骤

1. 确定关键指标：首先，确定需要监控的关键业务指标和基础设施指标。选择能够反映系统健康状况和业务性能的指标。例如，如果你的业务依赖于数据库，那么数据库的查询延迟和 CPU 使用率就是关键指标。
2. 创建指标：

   Cloud Monitoring 可以自动收集许多常见的指标。对于自定义的业务指标，可以使用以下方法创建：

   • 自定义指标：使用 Cloud Monitoring API 或 OpenTelemetry SDK 将自定义指标写入 Cloud Monitoring。
   • 基于日志的指标：从日志中提取指标，例如，可以从访问日志中提取请求延迟。
3. 创建告警策略：

   Cloud Monitoring 允许基于指标创建告警策略。可以设置阈值、持续时间和通知渠道。为了实现关联告警，可以创建以下类型的告警策略：

   • 单一指标告警：当单个指标超过或低于阈值时触发告警。例如，当 CPU 使用率超过 80% 时触发告警。
   • 复合告警：使用多个指标的组合来触发告警。例如，当请求延迟超过 500ms 且 CPU 使用率超过 80% 时触发告警。这种告警方式可以更准确地反映问题的根本原因。
4. 配置通知渠道：

   配置告警通知渠道，例如电子邮件、Slack、PagerDuty 等。确保在告警触发时能够及时收到通知。

5. 仪表盘与可视化：

   创建仪表盘，将相关的业务指标和基础设施指标可视化。通过仪表盘，可以直观地了解系统的运行状况，并快速发现异常。

具体示例：请求延迟与 CPU 使用率关联告警

假设我们需要监控一个 Web 服务的请求延迟和 CPU 使用率，并在请求延迟过高且 CPU 使用率也较高时触发告警。

1. 创建指标：
   • 假设请求延迟已经通过 OpenTelemetry SDK 写入 Cloud Monitoring，指标名称为 `custom.googleapis.com/request_latency`。
   • CPU 使用率由 Cloud Monitoring 自动收集，指标名称为 `agent.googleapis.com/cpu/usage`。
2. 创建复合告警策略：

   在 Cloud Monitoring 中创建一个告警策略，使用以下条件：

   • `custom.googleapis.com/request_latency` > 500ms
   • `agent.googleapis.com/cpu/usage` > 80%

   只有当两个条件同时满足时，才会触发告警。

3. 配置通知渠道：

   配置电子邮件或 Slack 通知，以便在告警触发时收到通知。

高级技巧

• 使用 SLO 监控：使用 Cloud Monitoring 的 Service Level Objectives (SLO) 功能来监控服务的可用性和性能。SLO 可以帮助你定义和跟踪服务的关键指标，并设置告警策略。
• 使用 PromQL：Cloud Monitoring 支持 PromQL 查询语言，可以使用 PromQL 来创建更复杂的告警策略。例如，可以使用 PromQL 来计算指标的移动平均值，并基于移动平均值设置告警阈值。
• 利用 Cloud Logging：将日志与指标关联起来，可以更好地了解问题的上下文。例如，可以在告警通知中包含相关的日志信息。
• 动态阈值：使用 Cloud Monitoring 的机器学习功能，可以自动学习指标的正常模式，并设置动态阈值。动态阈值可以更好地适应指标的变化，减少误报。

总结

通过 Cloud Monitoring，可以将业务指标与基础设施指标关联起来，创建更智能、更有效的告警策略。这可以帮助你更快地发现和解决问题，提高云服务的可用性和性能。 🚀