利用RELK进行日志收集
发布时间:April 3, 2018 // 分类:运维工作,开发笔记,python // No Comments
前不久在做应急的总是遇到要求对日志进行分析溯源,当时就想到如果对常见的日志类进行解析后统一入库处理,然后在对相关的IP/URL进行统计归纳。对于溯源之类的很是方便。想到数据量比较大,又要便于分析,就想到了ELK.
搭建一套基于elk的日志分析系统。
系统centos 内存4G 双核
大概架构如此
1.elk搭建
wget https:
//artifacts
.elastic.co
/downloads/elasticsearch/elasticsearch-6
.4.2.rpm
wget https:
//artifacts
.elastic.co
/downloads/kibana/kibana-6
.4.2-x86_64.rpm
wget https:
//artifacts
.elastic.co
/downloads/logstash/logstash-6
.4.2.rpm
rpm -ivh elasticsearch-6.4.2.rpm
sudo
chkconfig --add elasticsearch
/etc/init
.d
/elasticsearch
start
rpm -ivh kibana-6.4.2-x86_64.rpm
/etc/init
.d
/kibana
start
sudo
chkconfig --add kibana
rpm -ivh logstash-6.4.2.rpm
cd
/usr/share/logstash
ln
-s
/etc/logstash
.
/config
|
整个elk系统搭建好了,安装redis作为agent收集日志来作为logstash的输入源
wget http:
//download
.redis.io
/redis-stable
.
tar
.gz
tar
zxf redis-stable.
tar
.gz
cd
redis-stable
make
&&
make
install
|
修改redis.conf。
bind 0.0.0.0
protected-mode no
daemonize yes
maxclients 1000000
|
启动redis
sudo
redis.conf
/etc/
redis-server
/etc/redis
.conf
|
Logstash配置文件是JSON格式,放在/etc/logstash/conf.d 。 该配置由三个部分组成:输入,过滤器和输出。
input 数据输入端,可以接收来自任何地方的源数据。
file:从文件中读取
syslog:监听在514端口的系统日志信息,并解析成RFC3164格式。
redis:从redis-server list 中获取
beat:接收来自Filebeat的事件
Filter 数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段添加,修改等,常用的过滤器如下。
grok: 通过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式,满足大部分需求。
mutate: 在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
drop: 完全丢弃事件,如debug事件。
clone: 复制事件,可能添加或者删除字段。
geoip: 添加有关IP地址地理位置信息。
output 是logstash工作的最后一个阶段,负责将数据输出到指定位置,兼容大多数应用,常用的有:
elasticsearch: 发送事件数据到 Elasticsearch,便于查询,分析,绘图。
file: 将事件数据写入到磁盘文件上。
mongodb:将事件数据发送至高性能NoSQL mongodb,便于永久存储,查询,分析,大数据分片。
redis:将数据发送至redis-server,常用于中间层暂时缓存。
graphite: 发送事件数据到graphite。IT虾米网
statsd: 发送事件数据到 statsd。
|
编写logstash的配置文件。对所有的数据全盘接受,感谢Mosuan师傅的指导。
input {
redis {
host => '127.0.0.1'
port => 6379
password => 'password'
data_type => 'list'
key => 'logstash:redis'
}
}
output {
elasticsearch { hosts => localhost }
stdout { codec => rubydebug }
}
|