企业运维实战--ELK日志分析平台之logstash数据采集 -- 知识铺

企业运维实战–ELK日志分析平台之logstash数据采集

• 前言–logstash简介

• logstash数据采集

• 安装

• 日志采集输出插件

---

前言–logstash简介

Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。

logstash数据采集

安装

日志采集输出插件

命令行数据采集并显示到终端

输入数据会立刻在终端以标准输出的方式反馈

以文件的形式运行，设定文件输出路径为/tmp/testfile

file输出插件
-f指定文件

查看

logstash连接到elasticsearch

随意输入，输入结束后ctrl+c结束数据采集

进入监控查看采集的数据浏览

采集本机日志输出到elasticsearch

重复采集同样的日志，只会生效一次,是因为生成了sincedb文件

sincedb文件所在目录

想要重新生成索引，就必须删除它

采集系统日志syslog输入插件

监控查看数据

多行过滤插件

待收集主机：

vim /etc/rsyslog.conf

重启服务

读取集群日志，多行过滤插件

查看监控

grok过滤插件，切片apache访问日志

grok.conf

固定服务变量模板以准备好，变量所在目录：

安装apache

多访问几次该服务

监控查看

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

• 赞
• 收藏
• 评论
• 举报

相关文章