Docker已经成为了现代化应用中的一项必备技术，但是使用Docker进行应用监控和日志管理却是一项挑战。随着Docker网络功能，如Service Discovery和Load Balancing的不断增强，我们越来越需要一个完整、稳定，以及高效的应用监控系统。
在本文中，我们将简单地介绍使用Docker进行应用监控和日志管理的同时给出具体的代码示例。
利用Prometheus进行应用监控
Prometheus是一款开源，基于Pull模型的服务监测和警告工具，由SoundCloud开发。它使用Go语言编写，被广泛应用于微服务方案和云环境中。作为一款监控工具，它可以对Docker的CPU、内存、网络和磁盘等进行监控，并且还支持多维数据切换、灵活的查询、报警以及可视化等功能，让你可以快速做出反应，并快速做出决策。
还有一点需要注意的是，Prometheus需要通过Pull方式的采样，也就是访问被监控应用中的/metrics接口获取监控数据。所以，在启动被监控应用镜像时，需要先将可以访问到Prometheus的IP和端口配置到/metrics接口中。下面是一个简单的Node.js应用。
const express = require('express')
const app = express()
app.get('/', (req, res) => {
res.send('Hello World!')
})
app.get('/metrics', (req, res) => {
res.send(`
# HELP api_calls_total Total API calls
# TYPE api_calls_total counter
api_calls_total 100
`)
})
app.listen(3000, () => {
console.log('Example app listening on port 3000!')
})
在该代码中，我们通过/metrics接口，返回了一个api_calls_total的监控指标。
接着，在官网上下载Prometheus的Docker镜像，并创建一个docker-compose.yml文件，并且在该文件中，我们获取该Node.js应用的数据。
version: '3' services: node: image: node:lts command: node index.js ports: - 3000:3000 prometheus: image: prom/prometheus:v2.25.2 volumes: - ./prometheus:/etc/prometheus command: - '--config.file=/etc/prometheus/prometheus.yml' - '--storage.tsdb.retention.time=15d' ports: - 9090:9090
该docker-compose.yml文件中，我们定义了两个服务，一个是运行Node.js应用的Node服务，另一个是用于监控的Prometheus服务。其中，Node服务发布的端口为3000端口，通过端口映射，可以通过docker-compose.yml中的IP和3000端口访问到该Node应用的/metrics接口。而Prometheus则可以通过9090端口访问对应的监控指标数据。
最后，在prometheus.yml文件中，我们需要定义要获取的数据来源。
global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: 'node-exporter' static_configs: - targets: ['node:9100'] - job_name: 'node-js-app' static_configs: - targets: ['node:3000']
在该文件中，我们定义了要采集的所有的Node.js应用的指标，其中targets参数是Node.js应用的IP地址及其对应端口号。在这里，我们使用的是node和3000端口。
最后，运行docker-compose up命令，即可启动整个应用及其监控服务，并在Prometheus中查看该会员指标。
利用ElasticSearch和Logstash进行日志管理
在Docker中，应用的日志数据分布在不同的Docker容器中。如果你要在集中的地方对这些日志进行管理，那么可以通过使用ELK中的ElasticSearch和Logstash,将日志中心化管理，以便更轻松地实现计算机资源的监控和分析。
在开始之前，需要先下载Logstash和ElasticSearch的Docker镜像，并创建一个docker-compose.yml文件。
在该文件中，我们定义了三个服务，其中bls是用来模拟业务日志的API服务，其每次响应后，将记录一条日志到stdout和日志文件中。logstash服务是由Logstash官方提供的Docker镜像构建，用于收集、过滤和传输日志。ElasticSearch服务用于存储和检索日志。
version: '3' services: bls: image: nginx:alpine volumes: - ./log:/var/log/nginx - ./public:/usr/share/nginx/html:ro ports: - "8000:80" logging: driver: "json-file" options: max-size: "10m" max-file: "10" logstash: image: logstash:7.10.1 volumes: - ./logstash/pipeline:/usr/share/logstash/pipeline environment: - "ES_HOST=elasticsearch" depends_on: - elasticsearch elasticsearch: image: elasticsearch:7.10.1 environment: - "http.host=0.0.0.0" - "discovery.type=single-node" volumes: - ./elasticsearch:/usr/share/elasticsearch/data
在配置文件中，我们映射了容器内的路径到宿主机的日志文件系统中。同时通过logging的option，则定义了日志的卷大小和数量，以限制日志的占用存储。
在配置文件的logstash中，我们定义了一个新的pipeline，其名为nginx_pipeline.conf，该文件用于处理nginx日志的收集、过滤和传输。与ELK的工作原理相同，logstash将根据不同的条件，对接收到的日志进行处理，并将其发送到已经创建的 Elasticsearch 集群中。在该配置文件中，我们定义了如下处理逻辑：
input {
file {
path => "/var/log/nginx/access.log"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
}
output {
elasticsearch {
hosts => [ "${ES_HOST}:9200" ]
index => "nginx_log_index"
}
}
在该配置文件中，我们定义了一个name为file的输入，表示要从本地Log文件中读取数据。接着，我们引入了使用grok库来解析符合特定模板的日志的filter。最后，我们定义了输出，其将数据传输到 Elasticsearch 集群的地址，同时将检索和报告通过环境变量ES_HOST传递到容器中。
在最后，如上完成整个ELK的配置后，我们会得到一个高效的日志管理系统，每条日志都将发送到集中的地方，并被整合在一起，可以实现简便的搜索，过滤和可视化操作。
原文来自：www.php.cn
暂无评论内容