草庐IT

filebeat配置简单说明

xuegaoxuegao 2023-10-21 原文

最近新上了个项目,昨日把各个服务器的log统一收集到es中.我这边采用的是通过filebeat采集日志文件推给logstash,然后logstash在处理日志输出保存到es中.

在配置filebeat的时候遇到了点小问题,记录一下,供参考


- type: log
  enabled: true
  #必须将ignore_older设置为大于close_inactive
  ignore_older: 1h
  
  #在预定义的时间段后关闭文件处理程序。时间段从读取文件的最后一行开始,而不是从文件最后修改时间开始。可>以使用2小时(2h)、5分钟(5m)等时间字符串。
  close_inactive: 10m
  #注意yaml配置语法中  :   -  后需要有一个空格
  #注意下面为 glob正则匹配模式
  paths:
        - /data/logs/cms-api/*_20[2-9][0-9][0-1][0-9][0-9][0-9].log        - /data/logs/survey-api/*_20[2-9][0-9][0-1][0-9][0-9][0-9].log        - /data/logs/common-api/*_20[2-9][0-9][0-1][0-9][0-9][0-9].log

  #这个正则匹配是 整个文件地址绝对地址的匹配
  exclude_files: ['.*cli_.*log$','.*notice_.*log$']

  #可以自定义自定  下面自定的logType字段归于 fields的下面,传给logstash
  fields:     
     logtype: newApp
     selfFiled: selfValue
  
  #涉及到多行的匹配策略  将不符合的行追加到符合匹配条件的行后面
  multiline.pattern: '^\w{2,}\|\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}'
  multiline.negate: true
  multiline.match: after

官方input配置说明地址Configure inputs | Filebeat Reference [8.0] | Elastic

简单说一下注意事项

  •   filebeat.yml配置文件要遵循yaml语法规范 ,  : 和 - 后面需要有一个空格,不然配置文件虽然能测试通过,但是执行起来报错
  •  一个 - type相当于一个日志收集模块  可以配置多个. 类型不同,下面的配置项也不同. 具体参看完整配置文件 filebeat.reference.yml
  • paths 项的正则匹配是采用的glob模式的.  主要是用来匹配目录的. 跟平时后端语言的正则表达式有差别 .  具体参考 百度百科 glob模式_百度百科​​​​​​
  • exclude_files: ['.*cli_.*log$','.*notice_.*log$']   这个正则匹配是根据每个日志文件绝对路径地址来匹配的 .  常见的后端正则匹配模式
  • fileds 可以自定义字段 传给logstash.  当前配置匹配到的每行日志 会保存在 message字段中,在这个配置项中添加的字段. 会保存在与message同级的fields字段下
  •  多行匹配问题 ,针对异常行,数据不是已一行输出的问题  官方说明详细的很Manage multiline messages | Filebeat Reference [8.0] | Elastic

         参考:Filebeat Reference [8.0] | Elastichttps://www.elastic.co/guide/en/beats/filebeat/current/index.html

有关filebeat配置简单说明的更多相关文章

  1. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本,可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中?您能否举例说明如何做到这一点?提前谢谢你。 最佳答案 首先,您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后,在您的应用中阅读它:require"yaml"arg

  2. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  3. ruby - 简单获取法拉第超时 - 2

    有没有办法在这个简单的get方法中添加超时选项?我正在使用法拉第3.3。Faraday.get(url)四处寻找,我只能先发起连接后应用超时选项,然后应用超时选项。或者有什么简单的方法?这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url

  4. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  5. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章? - 2

    我意识到这可能是一个非常基本的问题,但我现在已经花了几天时间回过头来解决这个问题,但出于某种原因,Google就是没有帮助我。(我认为部分问题在于我是一个初学者,我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI,但我仍然停留在这个问题上.我找到了一些关于多态关系的信息,但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  6. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么? - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找,但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中,因为我们有一些奇怪的身份验证规则,我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点,但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook,WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  7. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候,windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表,但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题),加之暑假之后对cmake实在是爱不释手,且这样配置确实十分简单(其实都不需要配置),故斗胆妄言vscode下配置CV之法。其实极为简单,图比较多所以很长。如果你看此文还配不好,你应该思考一下是不是自己的问题。闲话少说,直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么,我不说是谁。CMake是一个开源免费并且跨平台的构建工具,可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  8. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  9. Qt Designer的简单使用 - 2

    在前面两节的例子中,主界面窗口的尺寸和标签控件显示的矩形区域等,都是用C++代码编写的。窗口和控件的尺寸都是预估的,控件如果多起来,那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观,因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner(Qt设计师)。通过QtDesigner就可以很方便地创建图形界面文件*.ui,然后将ui文件应用到源代码里面,做到“所见即所得”,大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用,学习拖拽控件和设置控件属性,并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q

  10. 神州数码无线产品(AC+AP)配置 - 2

    注意:本文主要掌握DCN自研无线产品的基本配置方法和注意事项,能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为:adminAP默认IP地址为:192.168.1.10AP默认情况下DHCP开启AP静态地址配置:setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能:setmanagementdhcp-statusup/downAP设置默认网关:setstatic-ip-routegeteway192.168.10.254查看AP基本信息:getsystemgetmanagementgetmanaged-apgetrouteAP配

随机推荐