一、简介ELK日志我们一般都是按天存储，例如索引名为"kafkalog-2022-04-05"，因为日志量所占的存储是非常大的，我们不能一直保存，而是要定期清理旧的，这里就以保留7天日志为例。自动清理7天以前的日志可以用定时任务的方式，这样就需要加入多一个定时任务，可能不同服务记录的索引名又不一样，这样用定时任务配还是没那么方便。ES给我们提供了一个索引的生命周期策略（lifecycle），就可以对索引指定删除时间，能很好解决这个问题。 索引生命周期分为四个阶段：HOT(热)=>WARM(温）=》COLD(冷)=>DELETE(删除)二、给索引设生命周期策略（ILM）1.配置生命周期策略(po
1ELK与ZABBIX有什么关系?ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了?这两个放到一起是什么目的呢，听我细细道来ELK是一套日志收集套件，它其实由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网站日志、应用系统日志等各种日志数据，并且还可以对日志进行过滤、清洗，然后进行集中存放并可用于实时检索、分析。这是ELK的基础功能。但是有些时候，我们希望在收集日志的时候，能够将日志中的异常信息(警告、错误、失败等信息)及时的提取出来，因为日志中的异常信息意味着操作系统、应用程序
1ELK与ZABBIX有什么关系?ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了?这两个放到一起是什么目的呢，听我细细道来ELK是一套日志收集套件，它其实由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网站日志、应用系统日志等各种日志数据，并且还可以对日志进行过滤、清洗，然后进行集中存放并可用于实时检索、分析。这是ELK的基础功能。但是有些时候，我们希望在收集日志的时候，能够将日志中的异常信息(警告、错误、失败等信息)及时的提取出来，因为日志中的异常信息意味着操作系统、应用程序
在本杂志2022年3月版发表的题为“用Zeek轻松实现网络安全监控”的文章中，我们研究了Zeek的功能，并学习了如何开始使用它。现在我们将把我们的学习经验再进一步，看看如何将其与ELK（即Elasticsearch、Kibana、Beats和Logstash）整合。为此，我们将使用一个叫做Filebeat的工具，它可以监控、收集并转发日志到Elasticsearch。我们将把Filebeat和Zeek配置在一起，这样后者收集的数据将被转发并集中到我们的Kibana仪表盘上。安装Filebeat让我们首先将Filebeat与Zeek安装在一起。使用 apt 来安装Filebeat，使用以
在本杂志2022年3月版发表的题为“用Zeek轻松实现网络安全监控”的文章中，我们研究了Zeek的功能，并学习了如何开始使用它。现在我们将把我们的学习经验再进一步，看看如何将其与ELK（即Elasticsearch、Kibana、Beats和Logstash）整合。为此，我们将使用一个叫做Filebeat的工具，它可以监控、收集并转发日志到Elasticsearch。我们将把Filebeat和Zeek配置在一起，这样后者收集的数据将被转发并集中到我们的Kibana仪表盘上。安装Filebeat让我们首先将Filebeat与Zeek安装在一起。使用 apt 来安装Filebeat，使用以
在本文中，我们将探讨如何在Docker环境下搭建ELK（Elasticsearch，Logstash和Kibana）堆栈。ELK是一种流行的开源日志分析平台，可用于实时搜索，分析和可视化数据。使用Docker可以轻松地构建，部署和管理ELK堆栈。1、准备工作在开始之前，我们需要安装Docker和DockerCompose。如果您还没有安装它们，请参阅Docker官方网站的文档以获取有关安装的说明。2、创建DockerCompose文件我们将使用DockerCompose来定义和运行ELK堆栈。我们需要创建一个docker-compose.yml文件来指定ELK容器的配置。以下是一个基本的doc
在本文中，我们将探讨如何在Docker环境下搭建ELK（Elasticsearch，Logstash和Kibana）堆栈。ELK是一种流行的开源日志分析平台，可用于实时搜索，分析和可视化数据。使用Docker可以轻松地构建，部署和管理ELK堆栈。1、准备工作在开始之前，我们需要安装Docker和DockerCompose。如果您还没有安装它们，请参阅Docker官方网站的文档以获取有关安装的说明。2、创建DockerCompose文件我们将使用DockerCompose来定义和运行ELK堆栈。我们需要创建一个docker-compose.yml文件来指定ELK容器的配置。以下是一个基本的doc
一、说明这篇文章是2020年6月份写在自己博客的，组件版本应该都比较低了。二、组件filebeatkafkazookeeperelasticsearchkibana三、参考链接：#1json在线解析https://www.json.cn/#2grokdebughttp://grokdebug.herokuapp.com/http://grokdebug.herokuapp.com/patterns#3template接口https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-templates.html#4elk官
一、说明这篇文章是2020年6月份写在自己博客的，组件版本应该都比较低了。二、组件filebeatkafkazookeeperelasticsearchkibana三、参考链接：#1json在线解析https://www.json.cn/#2grokdebughttp://grokdebug.herokuapp.com/http://grokdebug.herokuapp.com/patterns#3template接口https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-templates.html#4elk官
