草庐IT

Logstash 入门实战(4)--filter plugin 介绍

且行且码 2023-04-19 原文

本文主要介绍 Logstash 的一些常用过滤插件；相关的环境及软件信息如下：CentOS 7.9、Logstash 8.2.2。

1、grok 过滤插件

grok 是一种将行与正则表达式匹配，将行的特定部分映射到专用字段中以及根据此映射执行操作的方法。Logstash 中内置了超过 200 种 Logstash 模式，用于过滤单词、数字和日期等。 如果找不到所需的模式，可以自定义模式。 还有多个匹配模式的选项，可简化表达式的编写以捕获日志数据。

 Logstash grok 过滤插件的基本语法格式：

%{PATTERN:FieldName}

grok 可以非结构化的数据转变为结构化数据，非常适用于各类系统日志；下面使用 Grok 来处理 Nginx访问日志。

一行 Nginx 访问日志：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"

配置 Logstash：

input {
  stdin {
  }
}

filter {
  grok {
    match => { "message" => "%{IP:ip} - %{USER:remoteUser} \[%{HTTPDATE:accessTimeStr}\] \"%{WORD:method} %{URIPATHPARAM:path} %{WORD:protocal}/%{NUMBER:version}\" %{INT:status} %{INT:bytes} \"%{DATA:referer}\" \"%{DATA:userAgent}\""}
  }
}

output {
  stdout {
  }
}

运行 Logstash 后输入日志信息：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
{
           "method" => "GET",
             "host" => {
        "hostname" => "pxc2"
    },
    "accessTimeStr" => "27/Sep/2022:10:16:15 +0800",
        "userAgent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
          "referer" => "http://10.49.196.11:8066/",
               "ip" => "10.49.196.1",
          "message" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"",
       "@timestamp" => 2022-09-27T02:31:13.852428Z,
            "bytes" => "555",
       "remoteUser" => "-",
         "@version" => "1",
            "event" => {
        "original" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\""
    },
             "path" => "/favicon.ico",
           "status" => "404",
          "version" => "1.1",
         "protocal" => "HTTP"
}

可以看到各字段信息都解析出来了。

各正则表达式定义的详细信息，可以参考 https://github.com/logstash-plugins/logstash-patterns-core/tree/main/patterns，如：

IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?
IPV4 (?<![0-9])(?:(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])
IP (?:%{IPV6}|%{IPV4})

2、dissect 过滤插件

基于分隔符原理解析数据，解决grok解析时消耗过多cpu资源的问题。使用分隔符将非结构化事件数据提取到字段中。 解剖过滤器不使用正则表达式，速度非常快。 但是，如果数据的结构因行而异，grok 过滤器更合适。dissect 的应用有一定的局限性：主要适用于每行格式相似且分隔符明确简单的场景。

dissect 语法比较简单，有一系列字段(field)和分隔符(delimiter)组成

%{}字段
%{}之间是分隔符

使用 Dissect 处理 Nginx 访问日志：

input {
  stdin {
  }
}

filter {
  dissect {
    mapping => { "message" => '%{ip} - %{remoteUser} [%{accessTimeStr} %{+accessTimeStr}] "%{method} %{path} %{protocal}/%{version
}" %{status} %{bytes} "%{referer}" "%{userAgent}"'}
  }
}

output {
  stdout {
  }
}

结果如下，与使用 grok 处理 Nginx 访问日志的结果一致：

10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] "GET /favicon.ico HTTP/1.1" 404 555 "http://10.49.196.11:8066/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
{
             "path" => "/favicon.ico",
           "status" => "404",
         "protocal" => "HTTP",
             "host" => {
        "hostname" => "pxc2"
    },
            "bytes" => "555",
        "userAgent" => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
         "@version" => "1",
            "event" => {
        "original" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\""
    },
          "referer" => "http://10.49.196.11:8066/",
    "accessTimeStr" => "27/Sep/2022:10:16:15 +0800",
          "message" => "10.49.196.1 - - [27/Sep/2022:10:16:15 +0800] \"GET /favicon.ico HTTP/1.1\" 404 555 \"http://10.49.196.11:8066/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36\"",
           "method" => "GET",
          "version" => "1.1",
       "@timestamp" => 2022-09-27T09:28:36.042881Z,
       "remoteUser" => "-",
               "ip" => "10.49.196.1"
}

dissect 除了字段外面的字符串定位功能以外，还通过几个特殊符号来处理字段提取的规则：

  • %{+key} +代表该匹配值追加到 key 字段下
%{ts} %{+ts} %{+ts}
Apr 26 12:20:02
{
    "ts":"Apr 26 12:20:02"
}
  • %{+key/2}  后面的数字代表拼接的次序
%{+order/2} %{+order/3} %{+order/1} %{+order/4}
two three one go
{
    "order": "one two three go"
}
  • %{}  表示一个空的跳过字段
%{a} %{} %{b}
1 2 3
{"a":"1","b":"3"}
  • %{?key}  ?表示，这块只是一个占位，并不会实际生成捕获字段存到事件里面。
  • %{?key} %{&key}当同样捕获名称都是string，但是一个?一个&的时候，表示这是一个键值对。
%{?key1}=%{&key1}&%{?key2}=%{&key2}
a=1&b=2
{"a":"1","b":"2"}
  • %{key->}，表示忽略它右边的填充，否则右边的多余填充将拆分到下一个字段中。
%{a} %{b->} %{c}
1 2         3
{"a":"1","b":"2","c":"3"}

#去除->后，会把多余的空格匹配到 c 中
%{a} %{b} %{c}
1 2         3
{"a":"1","b":"2","c":"        3"}

3、date 过滤插件

date 过滤插件可以把字符串的日期字段转为日期类型。

input {
  stdin {
    codec => "json"
  }
}

filter {
  date {
    match => ["accessTimeStr", "dd/MMM/yyyy:HH:mm:ss Z"]
    target => "accessTime"
  }
}

output {
  stdout {
  }
}

上述配置把 accessTimeStr 字段的值转成日期类型，并写入 accessTime 字段(默认为 @timestamp 字段)。运行 Logstash：

{"accessTimeStr": "27/Sep/2022:10:16:15 +0800"}
{
            "event" => {
        "original" => "{\"accessTimeStr\": \"27/Sep/2022:10:16:15 +0800\"}\n"
    },
             "host" => {
        "hostname" => "pxc2"
    },
       "@timestamp" => 2022-09-27T07:21:00.181981Z,
       "accessTime" => 2022-09-27T02:16:15Z,
         "@version" => "1",
    "accessTimeStr" => "27/Sep/2022:10:16:15 +0800"
}

4、mutate 过滤插件

mutate 插件可以对字段进行重命名、删除、替换、更新等操作：

  • convert  类型转换
  • gsub  字符串替换
  • split  字符串分割
  • join  数组合转为字符串
  • merge  数组合并为数组
  • rename  字段重命名
  • update  字段内容更新，如果字段不存在，则不处理
  • replace  字段内容替换，如果字段不存在，则新增字段
input {
  stdin {
    codec => "json"
  }
}

filter {
  mutate {
    convert => {"a" => "integer"}
    gsub => ["b", "_", "|"]  #"_"替换为"|"
    split => {"c" => ","}
    join => {"d" => ","}
    merge => {"e1" => "e2"} #数组e2的元素合并到e1数组中
    rename => {"f" => "ff"}
    update => {"g" => "new value"}
    replace => {"h" => "new value"}
  }
}

output {
  stdout {
  }
}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"A_B_C","c":"X,Y,Z","d":[1,2,3],"e1":[1,2,3],"e2":[4,5,6],"f":"ABC","g":"123"}
{
             "d" => "1,2,3",
            "e1" => [
        [0] 1,
        [1] 2,
        [2] 3,
        [3] 4,
        [4] 5,
        [5] 6
    ],
            "e2" => [
        [0] 4,
        [1] 5,
        [2] 6
    ],
             "c" => [
        [0] "X",
        [1] "Y",
        [2] "Z"
    ],
         "event" => {
        "original" => "{\"a\":\"1\",\"b\":\"A_B_C\",\"c\":\"X,Y,Z\",\"d\":[1,2,3],\"e1\":[1,2,3],\"e2\":[4,5,6],\"f\":\"ABC\",\"g\":\"123\"}\n"
    },
            "ff" => "ABC",
    "@timestamp" => 2022-09-28T02:45:26.305729Z,
             "b" => "A|B|C",
      "@version" => "1",
          "host" => {
        "hostname" => "pxc2"
    },
             "h" => "new value",
             "g" => "new value",
             "a" => 1
}

5、json 过滤插件

json 插件可以把内容为 json 字符串的字段转换为 json 格式数据。

input {
  stdin {
  }
}

filter {
  json {
    source => "message"
    target => "result"
  }
}

output {
  stdout {
  }
}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"2"}
{
       "message" => "{\"a\":\"1\",\"b\":\"2\"}",
         "event" => {
        "original" => "{\"a\":\"1\",\"b\":\"2\"}"
    },
      "@version" => "1",
    "@timestamp" => 2022-09-28T03:20:35.827102Z,
        "result" => {
        "b" => "2",
        "a" => "1"
    },
          "host" => {
        "hostname" => "pxc2"
    }
}

6、ruby 过滤插件

ruby 插件时最灵活的插件，可以使用 ruby 来随心所欲的修改 Logstash Event 对象。

input {
  stdin {
    codec = "json"
  }
}

filter {
  ruby {
    code => 'a = event.get("a");event.set("a", a + 123")'
  }
}

output {
  stdout {
  }
}

启动 Logstash 并在控制输入测试数据：

{"a":"1","b":"2"}
{
          "host" => {
        "hostname" => "pxc2"
    },
             "b" => "2",
             "a" => "1abc",
      "@version" => "1",
         "event" => {
        "original" => "{\"a\":\"1\",\"b\":\"2\"}\n"
    },
    "@timestamp" => 2022-09-28T06:01:35.180939Z
}

 

本文中介绍的插件只是 Logstash 输入插件的很小的一部分，可查看 Logstash 官方文档 了解更多信息。

Logstash入门spancolorstyleJava

有关Logstash 入门实战(4)--filter plugin 介绍的更多相关文章

  1. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2

    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  2. LC滤波器设计学习笔记（一）滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称

  3. 微信小程序开发入门与实战（Behaviors使用） - 2

    @作者:SYFStrive @博客首页:HomePage📜：微信小程序📌：个人社区（欢迎大佬们加入）👉：社区链接🔗📌：觉得文章不错可以点点关注👉：专栏连接🔗💃：感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序（🔥）目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中，用于实现

  4. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

  5. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  6. ruby-on-rails - Logstash 可以在 Rails 上使用 Ruby 吗？ - 2

    有没有人得到Logstash在Rails上使用ruby​​？我的客户告诉我将Logstash用于日志收集器等。我正在使用ruby​​onrails技术。大部分都快完成了。但要求是将日志记录到logstash中。请让我知道这可能吗？ 最佳答案 我为此编写了一个gem-logstasher.它将Rails日志写入一个单独的文件，采用纯json格式，无需任何处理即可由logstash使用。查看我的blog有关如何设置Logstash和Kibana的完整说明 关于ruby-on-rails-Lo

  7. ruby - 将 Logstash 中的时间戳时区转换为输出索引名称 - 2

    在我的场景中，Logstash收到的系统日志行的“时间戳”是UTC，我们在Elasticsearch输出中使用事件“时间戳”:output{elasticsearch{embedded=>falsehost=>localhostport=>9200protocol=>httpcluster=>'elasticsearch'index=>"syslog-%{+YYYY.MM.dd}"}}我的问题是，在UTC午夜，Logstash在外时区(GMT-4=>America/Montreal)结束前将日志发送到不同的索引，并且索引在20小时(晚上8点)之后没有日志，因为“时间戳”是UTC。我们已

  8. 区块链入门教程(6)--WeBASE-Front节点前置服务安装 - 2

    文章目录1.任务背景2.任务目标3.相关知识点4.任务实操4.1安装配置JDK4.2启动FISCOBCOS4.3下载解压WeBASE-Front4.4拷贝sdk证书文件4.5启动节点4.6访问节点4.7检查运行状态5.任务总结1.任务背景FISCOBCOS其实是有控制台管理工具，用来对区块链系统进行各种管理操作。但是对于初学者来说，还是可视化界面更友好，本节就来介绍WeBASE管理平台，这是一款微众银行开源的自研区块链中间件平台，可以降低区块链使用的门槛，大幅提高区块链应用的开发效率。微众银行是腾讯牵头设立的民营银行，在国内民营银行里还是比较出名的。微众银行参与FISCOBCOS生态建设，一定

  9. Tcl脚本入门笔记详解（一） - 2

    TCL脚本语言简介•TCL（ToolCommandLanguage）是一种解释执行的脚本语言（ScriptingLanguage）,它提供了通用的编程能力：支持变量、过程和控制结构；同时TCL还拥有一个功能强大的固有的核心命令集。TCL经常被用于快速原型开发，脚本编程，GUI和测试等方面。•实际上包含了两个部分：一个语言和一个库。首先，Tcl是一种简单的脚本语言，主要使用于发布命令给一些互交程序如文本编辑器、调试器和shell。由于TCL的解释器是用C\C++语言的过程库实现的，因此在某种意义上我们又可以把TCL看作C库，这个库中有丰富的用于扩展TCL命令的C\C++过程和函数，所以，Tcl是

  10. Simulink方法总结和避坑指南（一）——Simulink入门与基本调试方法 - 2

    文章目录一、项目场景二、基本模块原理与调试方法分析——信源部分：三、信号处理部分和显示部分：四、基本的通信链路搭建：四、特殊模块：interpretedMATLABfunction：五、总结和坑点提醒一、项目场景  最近一个任务是使用simulink搭建一个MIMO串扰消除的链路，并用实际收到的数据进行测试，在搭建的过程中也遇到了不少的问题（当然这比vivado里面的debug好不知道多少倍）。准备趁着这个机会，先以一个很基本的通信链路对simulink基础和相关的debug方法进行总结。  在本篇中，主要记录simulink的基本原理和基本的SISO通信传输链路（QPSK方式），计划在下篇记

随机推荐