iiikeaaaa
简介：
- Graylog相对于ELK是较为轻量级的日志管理平台
- Graylog官网：https://×××w.graylog.org/
- Graylog-server：Graylog接收来自后端各种应用程序的日志并提供Web访问接口
- Graylog Collector Sidecar：负责收集应用程序日志并发送至Graylog-server
- Elasticsearch：用于索引和保存接收到的日志
- MongoDB： 负责保存 Graylog 自身的配置信息
- 通过Graylog来分析Ngnix日志，获取访问者IP，然后使用GeoIP2数据库分析IP的地理位置
- 访问者IP的地理位置信息是以GeoIP免费版GeoLiteCity数据做为筛选条件，分析访问来源城市，对于我们购买CDN时，具有一定的参考意义
系统环境:
- 本文不做环境搭建方面的介绍，直接使用docker搭建Graylog环境。
- CentOS 7.5
- Graylog-server(服务端，接收日志) IP：192.168.1.2
- Graylog Collector Sidecar(后端，收集日志) IP：192.168.1.3
- docker-ce 18.03、docker-compose 1.21.2
一、Graylog搭建
#环境方面直接使用docker搭建，若已有graylog请跳过
git clone https://github.com/JyBigBoss/graylog-nginx.git
cd graylog-nginx
vi docker-compose.yml
#请自行修改docker-compose.yml里面的IP为当前主机IP。
#克隆下来的文件其实就是官方提供的docker安装文档中的。
#这里是因为我需要GeoLiteCity的数据库，所以编写了Dockerfile把数据库放进去了
#官方Docker安装文档：http://docs.graylog.org/en/stable/pages/installation/docker.html
docker-compose up -d
#启动容器
二、配置Graylog接收Nginx日志
#打开graylog的web界面，配置input来源以及Collector配置
#浏览器访问：http://192.168.1.2:9000
#默认账号和密码都为：admin
#首先要配置input来源，也就是收集日志来源
#日志来源配置完成之后开始配置收集日志的collector
#后端的collectors启动的时候会通过graylog的api来匹配自身的tags
#匹配tags之后会生成对应的filebeat的配置文件并开始收集日志
三、配置后端collector收集日志
yum install -y https://github.com/Graylog2/collector-sidecar/releases/download/0.1.6/collector-sidecar-0.1.6-1.x86_64.rpm
#下载collector安装包安装
vi /etc/graylog/collector-sidecar/collector_sidecar.yml
#修改配置文件，需要注意tags和api的路径
graylog-collector-sidecar install
#前台启动collector
head -10 access.log >> /var/log/nginx/access.log
#由于我这里没有实际的访问日志，所以就只能用生产环境的日志，cat进去，模拟用户访问生成访问日志
四、利用GeoLiteCity生成IP地理位置信息
#自行下载GeoLiteCity的数据文件，注意是GeoLite2 City，MaxMind DB 二进制格式的数据库
#第一步的时候我已经通过Dockerfile把数据文件放进去了
#下载地址：https://dev.maxmind.com/zh-hans/geoip/geoip2/geolite2/
#首先要配置graylog，让它能够分析出访问者的IP
#然后再通过graylog的插件来生成地图
#这里使用的正则是Grok的：%{COMMONAPACHELOG}
#配置完成后，graylog就会通过GeoLiteCity数据库分析出地理位置信息了
#注意：内网的IP是没有在GeoLiteCity数据库中的
#我建议是去生产环境拷贝一份access日志下来测试
#直接把生产环境的日志cat追加到collector收集的日志文件就好了
