去年买了个登山包__超耐磨
安装
filebeat 已经完全替代了 logstash-forwarder 成为新一代的日志采集器，因为它更加轻量、安全。基于 filebeat + elk 的部署方案架构图如下：
软件版本：
| 服务 | 版本 | 说明 |
|---|---|---|
| centos | 7.6 | |
| docker | 18.09.5 | |
| docker compose | 1.25.0 | |
| elk | 7.5.1 | |
| filebeat | 7.5.1 |
docker-compose 文件
version: "3" services: es-master: container_name: es-master hostname: es-master image: elasticsearch:7.5.1 restart: always ports: - 9200:9200 - 9300:9300 volumes: - ./elasticsearch/master/conf/es-master.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/master/data:/usr/share/elasticsearch/data - ./elasticsearch/master/logs:/usr/share/elasticsearch/logs environment: - "es_java_opts=-xms512m -xmx512m" es-slave1: container_name: es-slave1 image: elasticsearch:7.5.1 restart: always ports: - 9201:9200 - 9301:9300 volumes: - ./elasticsearch/slave1/conf/es-slave1.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/slave1/data:/usr/share/elasticsearch/data - ./elasticsearch/slave1/logs:/usr/share/elasticsearch/logs environment: - "es_java_opts=-xms512m -xmx512m" es-slave2: container_name: es-slave2 image: elasticsearch:7.5.1 restart: always ports: - 9202:9200 - 9302:9300 volumes: - ./elasticsearch/slave2/conf/es-slave2.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./elasticsearch/slave2/data:/usr/share/elasticsearch/data - ./elasticsearch/slave2/logs:/usr/share/elasticsearch/logs environment: - "es_java_opts=-xms512m -xmx512m" kibana: container_name: kibana hostname: kibana image: kibana:7.5.1 restart: always ports: - 5601:5601 volumes: - ./kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml environment: - elasticsearch.hosts=http://es-master:9200 depends_on: - es-master - es-slave1 - es-slave2 # filebeat: # # 容器名称 # container_name: filebeat # # 主机名称 # hostname: filebeat # # 镜像 # image: docker.elastic.co/beats/filebeat:7.5.1 # # 重启机制 # restart: always # # 持久化挂载 # volumes: # - ./filebeat/conf/filebeat.yml:/usr/share/filebeat/filebeat.yml # # 映射到容器中[作为数据源] # - ./logs:/home/project/spring-boot-elasticsearch/logs # - ./filebeat/logs:/usr/share/filebeat/logs # - ./filebeat/data:/usr/share/filebeat/data # # 将指定容器连接到当前连接，可以设置别名，避免ip方式导致的容器重启动态改变的无法连接情况 # links: # - logstash # # 依赖服务[可无] # depends_on: # - es-master # - es-slave1 # - es-slave2 logstash: container_name: logstash hostname: logstash image: logstash:7.5.1 command: logstash -f ./conf/logstash-filebeat.conf restart: always volumes: # 映射到容器中 - ./logstash/conf/logstash-filebeat.conf:/usr/share/logstash/conf/logstash-filebeat.conf - ./logstash/ssl:/usr/share/logstash/ssl environment: - elasticsearch.hosts=http://es-master:9200 # 解决logstash监控连接报错 - xpack.monitoring.elasticsearch.hosts=http://es-master:9200 ports: - 5044:5044 depends_on: - es-master - es-slave1 - es-slave2
这里把 filebeat 给注释掉了，打算在各个需要搜集日志的服务器上面单独部署 filebeat。
记得把 elasticsearch 的 data 和 logs 设置
chmod 777
es-master.yml
# 集群名称 cluster.name: es-cluster # 节点名称 node.name: es-master # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启 node.data: false # 网络绑定 network.host: 0.0.0.0 # 设置对外服务的http端口 http.port: 9200 # 设置节点间交互的tcp端口 transport.port: 9300 # 集群发现 discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手动指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算 cluster.initial_master_nodes: - es-master # 支持跨域访问 http.cors.enabled: true http.cors.allow-origin: "*" # 安全认证 xpack.security.enabled: false #http.cors.allow-headers: "authorization"
es-slave1.yml
# 集群名称 cluster.name: es-cluster # 节点名称 node.name: es-slave1 # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启 node.data: true # 网络绑定 network.host: 0.0.0.0 # 设置对外服务的http端口 http.port: 9201 # 设置节点间交互的tcp端口 #transport.port: 9301 # 集群发现 discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手动指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算 cluster.initial_master_nodes: - es-master # 支持跨域访问 http.cors.enabled: true http.cors.allow-origin: "*" # 安全认证 xpack.security.enabled: false #http.cors.allow-headers: "authorization"
es-slave2.yml
# 集群名称 cluster.name: es-cluster # 节点名称 node.name: es-slave2 # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启 node.data: true # 网络绑定 network.host: 0.0.0.0 # 设置对外服务的http端口 http.port: 9202 # 设置节点间交互的tcp端口 #transport.port: 9302 # 集群发现 discovery.seed_hosts: - es-master - es-slave1 - es-slave2 # 手动指定可以成为 mater 的所有节点的 name 或者 ip，这些配置将会在第一次选举中进行计算 cluster.initial_master_nodes: - es-master # 支持跨域访问 http.cors.enabled: true http.cors.allow-origin: "*" # 安全认证 xpack.security.enabled: false #http.cors.allow-headers: "authorization"
logstash-filebeat.conf
input {
# 来源beats
beats {
# 端口
port => "5044"
ssl_certificate_authorities => ["/usr/share/logstash/ssl/ca.crt"]
ssl_certificate => "/usr/share/logstash/ssl/server.crt"
ssl_key => "/usr/share/logstash/ssl/server.key"
ssl_verify_mode => "force_peer"
}
}
# 分析、过滤插件，可以多个
filter {
grok {
match => { "message" => "%{combinedapachelog}"}
}
geoip {
source => "clientip"
}
}
output {
# 选择elasticsearch
elasticsearch {
hosts => ["http://es-master:9200"]
index => "%{[fields][service]}-%{[@metadata][version]}-%{+yyyy.mm.dd}"
}
}
filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
# 当前目录下的所有.log文件
- /root/tmp/logs/*.log
fields:
service: "our31-java"
multiline.pattern: ^\[
multiline.negate: true
multiline.match: after
- type: log
enabled: true
paths:
# 当前目录下的所有.log文件
- /root/tmp/log/*.log
fields:
service: "our31-nginx"
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
# setup.template.settings:
# index.number_of_shards: 1
# setup.dashboards.enabled: false
# setup.kibana:
# host: "http://localhost:5601"
# 不直接传输至es
#output.elasticsearch:
# hosts: ["http://es-master:9200"]
# index: "filebeat-%{[beat.version]}-%{+yyyy.mm.dd}"
setup.ilm.enabled: false
output.logstash:
hosts: ["logstash.server.com:5044"]
# optional ssl. by default is off.
# list of root certificates for https server verifications
ssl.certificate_authorities: "./ssl/ca.crt"
# certificate for ssl client authentication
ssl.certificate: "./ssl/client.crt"
# client certificate key
ssl.key: "./ssl/client.key"
# processors:
# - add_host_metadata: ~
# - add_cloud_metadata: ~
注意
生成证书，配置 ssl，让 filebeat 与 logstash 之间建立 ssl。
#生成ca私钥 openssl genrsa 2048 > ca.key #使用ca私钥建立ca证书 openssl req -new -x509 -nodes -key ca.key -subj /cn=elkca\ ca/ou=development\ group/o=homeit\ sia/dc=elk/dc=com > ca.crt #生成服务器csr证书请求文件 openssl req -newkey rsa:2048 -nodes -keyout server.key -subj /cn=logstash.server.com/ou=development\ group/o=home\ sia/dc=elk/dc=com > server.csr #使用ca证书与私钥签发服务器证书 openssl x509 -req -in server.csr -ca ca.crt -cakey ca.key -set_serial 01 > server.crt #生成客户端csr证书请求文件 openssl req -newkey rsa:2048 -nodes -keyout client.key -subj /cn=filebeat.client.com/ou=development\ group/o=home\ sia/dc=elk/dc=com > client.csr #使用ca证书与私钥签发客户端证书 openssl x509 -req -in client.csr -ca ca.crt -cakey ca.key -set_serial 01 > client.crt
证书记得放到对应的文件夹中。
filebeat 中 output.logstash.hosts 配置的域名要与证书相符。
根据不同服务器、不同服务、不同日期动态生成索引
上面的这张图片中，加上了一些自定义属性，这些属性会传递到 logstash 中，logstash 会拿到这些属性动态的向 elasticsearch 中创建索引，如下图：
详细介绍看官方文档，，。
这里本来想使用 indices 来动态生成索引，但是根据官方配置，并没有成功，哪位兄弟知道可以告知下为什么。
利用 nginx http basic authorization 让 kibana 需要登录
先使用工具 htpasswd 生成用户信息
$ yum -y install httpd-tools
创建新密码文件
追加用户信息：
最后配置好 nginx 即可：
server {
......
auth_basic "kibana auth";
auth_basic_user_file /usr/local/nginx/pwd/kibana/passwd;
......
}
单独启动 filebeat 的方式
$ nohup ./filebeat 2>&1 &
启动 docker compose
在 docker-compose.yml 所在目录执行：
$ docker-compose up --build -d
到此这篇关于docker compose一键elk部署的方法实现的文章就介绍到这了,更多相关docker compose elk部署内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！
