为什么这么做？

因为我们知道如果要要加Kafka等其他中间件的Job，需要更改prometheus的配置文件，并且重启Prometheus。小规模还可以。如果量大了 需要频繁更改配置文件。并且是不同的运维在修改，容易改错，也不适合自动化和平台化的实现。那么怎么能实现通过请求api接口添加job进去并重启proms去实现了？

我们可以通过consul的自动发现实现

参考资料

• Consule Docs
• Consule Service API
• Prometheus configurations

Consule介绍和安装

Consul 是基于 GO 语言开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。Consul 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。之前我们通过 Prometheus 实现监控，当新增一个 Target 时，需要变更服务器上的配置文件，即使使用 file_sd_configs 配置，也需要登录服务器修改对应 Json 文件，会非常麻烦。不过 Prometheus 官方支持多种自动服务发现的类型，其中就支持 Consul。

##  安装
$ wget https://releases.hashicorp.com/consul/1.12.0/consul_1.12.0_linux_amd64.zip
$ unzip consul_1.12.0_linux_amd64.zip
$ ./consul agent -dev    

启动完毕后，浏览器访问 http://127.0.0.1:8500 地址，即可打开 Consul Web 管理页面。可以看到默认只有 consul 一个 Service，后期我们注册到 Consul 的 Service 都可以从页面上看到，非常直观。

API 注册服务到 Consul

接下来，我们要注册服务到 Consul 中，可以通过其提供的 API 标准接口来添加。那么先注册一个测试服务，该测试数据为本机 node-exporter 服务信息，服务地址及端口为 node-exporter 默认提供指标数据的地址，执行如下命令

#
$ curl -X PUT -d '{"id": "node-exporter","name": "node-exporter-172.30.12.167","address": "172.30.12.167","port": 9100,"tags": ["test"],"checks": [{"http": "http://172.30.12.167:9100/metrics", "interval": "5s"}]}'  http://172.30.12.167:8500/v1/agent/service/register

执行完毕后，刷新一下 Consul Web 控制台页面，可以看到成功注册到 Consul 中。

 提一下，如果要注销掉某个服务，可以通过如下 API 命令操作，例如注销上边添加的 node-exporter 服务

$ curl -X PUT http://172.30.12.167:8500/v1/agent/service/deregister/node-exporter 

 配置 Prometheus 实现自动服务发现并实现自定义标签及分类

现在 Consul 服务已经启动完毕，并成功注册了一个服务，接下来，我们需要配置 Prometheus 来使用 Consul 自动服务发现，目的就是能够将上边添加的服务自动发现到 Prometheus 的 Targets 中，增加 prometheus.yml 配置如下：

...
- job_name: 'consul-prometheus'
  consul_sd_configs:
    - server: '172.30.12.167:8500'
      services: []  
  relabel_configs:
    - source_labels: [__meta_consul_tags]
      regex: .*test.*
      action: keep

我们先来普及一下 relabel_configs 的功能， Prometheus 允许用户在采集任务设置中，通过 relabel_configs 来添加自定义的 Relabeling 的额过程，来对标签进行指定规则的重写。 Prometheus 加载 Targets 后，这些 Targets 会自动包含一些默认的标签，Target 以 __ 作为前置的标签是在系统内部使用的，这些标签不会被写入到样本数据中。眼尖的会发现，每次增加 Target 时会自动增加一个 instance 标签，而 instance 标签的内容刚好对应 Target 实例的 __address__ 值，这是因为实际上 Prometheus 内部做了一次标签重写处理，默认 __address__ 标签设置为 <host>:<port> 地址，经过标签重写后，默认会自动将该值设置为 instance 标签，所以我们能够在页面看到该标签。

详细 relabel_configs 配置及说明可以参考 relabel_config 官网说明，这里我简单列举一下里面每个 relabel_action 的作用，方便下边演示。

• replace: 根据 regex 的配置匹配 source_labels 标签的值（注意：多个 source_label 的值会按照 separator 进行拼接），并且将匹配到的值写入到 target_label 当中，如果有多个匹配组，则可以使用 ${1}, ${2} 确定写入的内容。如果没匹配到任何内容则不对 target_label 进行重新， 默认为 replace。
• keep: 丢弃 source_labels 的值中没有匹配到 regex 正则表达式内容的 Target 实例
• drop: 丢弃 source_labels 的值中匹配到 regex 正则表达式内容的 Target 实例
• hashmod: 将 target_label 设置为关联的 source_label 的哈希模块
• labelmap: 根据 regex 去匹配 Target 实例所有标签的名称（注意是名称），并且将捕获到的内容作为为新的标签名称，regex 匹配到标签的的值作为新标签的值
• labeldrop: 对 Target 标签进行过滤，会移除匹配过滤条件的所有标签
• labelkeep: 对 Target 标签进行过滤，会移除不匹配过滤条件的所有标签
   

解释：

这里的 relabel_configs 配置作用为丢弃源标签中 __meta_consul_tags 不包含 test 标签的服务，__meta_consul_tags 对应到 Consul 服务中的值为 "tags": ["test"]，默认 consul 服务是不带该标签的，从而实现过滤。重启 Prometheus 可以看到现在只获取了 node-exporter-172.30.12.167 这个服务了。
 

两个问题？

•  问题1： 如果需要自定义一些标签，例如 team、group、project 等关键分组信息，方便后边 alertmanager 进行告警规则匹配，该如何处理呢？
• 问题2： 所有 Consul 中注册的 Service 都会默认加载到 Prometheus 下配置的 consul_prometheus 组，如果有多种类型的 exporter，如何在 Prometheus 中配置分配给指定类型的组，方便直观的区别它们？

解决方法：

将系统默认标签或者用户自定义标签转换成可视化标签，方便查看及后续 Alertmanager 进行告警规则匹配分组。不过要实现给服务添加自定义标签，我们还得做一下修改，就是在注册服务时，将自定义标签信息添加到 Meta Data 数据中，具体可以参考 [这里](Consul Service - Agent HTTP API) 官网说明，下边来演示一下如何操作。

新建 consul-0.json 如下：

$ vim consul-0.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-172.30.12.167",
  "Tags": [
    "test"
  ],
  "Address": "172.30.12.167",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://172.30.12.167:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

说明一下：该 Json 文件为要注册的服务信息，同时往 Meta 信息中添加了 app=spring-boot，team=appgroup，project=bigdata 三组标签，目的就是为了方便告警分组使用。执行如下命令进行注册：

 $ curl --request PUT --data @consul-0.json http://172.30.12.167:8500/v1/agent/service/register?replace-existing-checks=1

注册完毕，通过 Consul Web 管理页面可以查看到已注册成功，并且包含了 Meta 信息。

然后修改 prometheus.yml 配置如下：

...
- job_name: 'consul-prometheus'
  consul_sd_configs:
    - server: '172.30.12.167:8500'
      services: []  
  relabel_configs:
    - source_labels: [__meta_consul_tags]
      regex: .*test.*
      action: keep
    - regex: __meta_consul_service_metadata_(.+)
      action: labelmap

问题2，将自动发现的服务进行分类，本质上跟上边的处理方式一致，可以添加自定义的标签方式，通过标签来区分，二可以通过服务 Tag 来进行匹配来创建不同的类型 exporter 分组。这里我以第二种为例，通过给每个服务标记不同的 Tag，然后通过 relabel_configs 来进行匹配区分。我们来更新一下原 node-exporter-172.30.12.167 服务标签，同时注册一个其他类型 exporter 的服务如下：
 

$ vim consul-1.json
{
  "ID": "node-exporter",
  "Name": "node-exporter-172.30.12.167",
  "Tags": [
    "node-exporter"
  ],
  "Address": "172.30.12.167",
  "Port": 9100,
  "Meta": {
    "app": "spring-boot",
    "team": "appgroup",
    "project": "bigdata"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://172.30.12.167:9100/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

# 更新注册服务
$ curl --request PUT --data @consul-1.json http://172.30.12.167:8500/v1/agent/service/register?replace-existing-checks=1

$ vim consul-2.json
{
  "ID": "cadvisor-exporter",
  "Name": "cadvisor-exporter-172.30.12.167",
  "Tags": [
    "cadvisor-exporter"
  ],
  "Address": "172.30.12.167",
  "Port": 8080,
  "Meta": {
    "app": "docker",
    "team": "cloudgroup",
    "project": "docker-service"
  },
  "EnableTagOverride": false,
  "Check": {
    "HTTP": "http://172.30.12.167:8080/metrics",
    "Interval": "10s"
  },
  "Weights": {
    "Passing": 10,
    "Warning": 1
  }
}

# 注册服务
$ curl --request PUT --data @consul-2.json http://172.30.12.167:8500/v1/agent/service/register?replace-existing-checks=1

说明一下，我们更新了原 node-exporter-172.30.12.167 服务的标签为 node-exporter，同时注册一个新类型 cadvisor-exporter-172.30.12.167 服务，并设置标签为 cadvisor-exporter，以示区别。注册完毕，通过 Consul Web 控制台可以看到成功注册了这两个服务。

最后，我们修改 prometheus.yml 配置如下：

...
  - job_name: 'consul-node-exporter'
    consul_sd_configs:
      - server: '172.30.12.167:8500'
        services: []  
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*node-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

  - job_name: 'consul-cadvisor-exproter'
    consul_sd_configs:
      - server: '172.30.12.167:8500'
        services: []
    relabel_configs:
      - source_labels: [__meta_consul_tags]
        regex: .*cadvisor-exporter.*
        action: keep
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap

这里需要根据每种类型的 exporter 新增一个关联 job，同时 relabel_configs 中配置以 Tag 来做匹配区分。重启 Prometheus 服务，可以看到服务已经按照类型分类了，方便查看。

线上配置参考：

...
  - job_name: 'xx'
    metrics_path: "/prometheus"
    consul_sd_configs:
      - server: '172.16.3.7:8500'
        datacenter: 'dc1'
        scheme: http
        services: ['xx']
    relabel_configs:
      - regex: __meta_consul_service_metadata_(.+)
        action: labelmap
      - source_labels: ["__meta_consul_service_id"]
        target_label: "id"