草庐IT

logstash

全部标签

ruby-on-rails - Logstash 可以在 Rails 上使用 Ruby 吗?

有没有人得到Logstash在Rails上使用ruby​​?我的客户告诉我将Logstash用于日志收集器等。我正在使用ruby​​onrails技术。大部分都快完成了。但要求是将日志记录到logstash中。请让我知道这可能吗? 最佳答案 我为此编写了一个gem-logstasher.它将Rails日志写入一个单独的文件,采用纯json格式,无需任何处理即可由logstash使用。查看我的blog有关如何设置Logstash和Kibana的完整说明 关于ruby-on-rails-Lo

ruby - 将 Logstash 中的时间戳时区转换为输出索引名称

在我的场景中,Logstash收到的系统日志行的“时间戳”是UTC,我们在Elasticsearch输出中使用事件“时间戳”:output{elasticsearch{embedded=>falsehost=>localhostport=>9200protocol=>httpcluster=>'elasticsearch'index=>"syslog-%{+YYYY.MM.dd}"}}我的问题是,在UTC午夜,Logstash在外时区(GMT-4=>America/Montreal)结束前将日志发送到不同的索引,并且索引在20小时(晚上8点)之后没有日志,因为“时间戳”是UTC。我们已

ruby - 在不提供其所有属性的情况下获取队列

我正在尝试为现有队列编写消费者。RabbbitMQ在一个单独的实例中运行,名为“org-queue”的队列已经创建并绑定(bind)到一个交换器。org-queue是一个持久队列,它还有一些额外的属性。现在我需要从这个队列接收消息。我使用下面的代码来获取队列的实例conn=Bunny.newconn.startch=conn.create_channelq=ch.queue("org-queue")它抛出一个错误,指出不同的耐用属性。默认情况下,Bunny似乎使用durable=false。所以我添加了durabletrue作为参数。现在它说明了其他参数之间的区别。我是否需要指定所有参

ruby - 执行 ruby​​ 作为 logstash 的管道输入

Logstash允许executingarbitrarycommands作为管道的输入。这是我的示例管道:input{exec{command=>'/usr/bin/ruby-e"putsRUBY_VERSION"'interval=>10}}output{stdout{codec=>rubydebug}}有了这个我得到了以下错误:/opt/logstash/vendor/bundle/jruby/1.9/gems/bundler-1.9.10/lib/bundler/resolver.rb:328:in`blockinverify_gemfile_dependencies_are_f

ruby - 在任何 gem 源中都找不到 gem 'logstash-devutils (>= 0) ruby'

我只是想学习编写example-output-plugin,请关注此页面:http://www.elastic.co/guide/en/logstash/current/_how_to_write_a_logstash_output_plugin.html#_clone_and_test_4当我在文件夹~/logstash-output-example中键入“bundleinstall”时,出现错误:无法在任何gem源中找到gem'logstash-devutils(>=0)ruby​​'列在您的Gemfile中或安装在native上。似乎错过了gem'logstash-devutil

ruby-on-rails - 使用 Rails 4 和结构化日志记录,如何将请求 ID 字段添加到日志中?

我正在向Rails4应用程序添加结构化日志记录。使用lograge和logstash-logger如thisarticle中所述,我的东西大部分都在工作。我在向日志添加请求ID时遇到问题。我发现最接近的是将其添加到config/${ENV}.rb:config.log_tags=[:uuid]但这会将请求ID添加到标签列表中,而不是将其添加为命名字段。{"tags":["da76b4be-01ae-4cc4-8d3c-87062ea02cfe"],"host":"services","severity":"DEBUG","@version":"1","@timestamp":"2016

Docker安装ELK

文章目录一、ELK是什么?二、使用步骤1.安装elasticsearch1.1.拉取elasticsearch镜像1.2.创建挂载目录1.3.放行端口1.4.创建网络1.5.启动elasticsearch镜像1.6.验证是否启动成功2.安装logstash2.1.拉取logstash镜像2.2.创建挂载目录2.3.启动logstash镜像3.安装filebeat3.1.拉取filebeat镜像3.2.创建挂载目录3.3.获取配置文件3.3.1.从临时容器内复制

Logstash filter 的插件使用

Logstashfilter的使用一句话就是通过logstash对日志进行格式化(过滤)。logstash有三个插件input(接收数据源的数据)、filer(实现数据格式化)、output(输出到目标)。Filter插件(过滤器插件)可以实现如:数据解析、删除字段、类型转换等等统称名词实现数据格式化常见的有如下几个:grok:正则匹配解析date:日期解析dissect:对字段做处理,如:重命名、删除、替换等json:安装json解析字段内容到指定字段中geoip:增加地理位置数据ruby:利用ruby代码来动态修改LogstashEventGrok插件grok是一个十分强大的logstas

使用Logstash将MySQL数据导入Elasticsearch

文章目录1.Logstash是什么2.Logstash控制台测试3.MySQL数据导入Elasticsearch3.1创建配置文件3.2启动Logstash3.3实时更新数据测试1.Logstash是什么Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件logstash常用于日志系统中做日志采集设备,最常用于ELK中作为日志收集器使用,其功能包括实时更新数据等,非常强大2.Logstash控制台测试进入安装Logstash的/bin目录下,打开cmd控制台(logstash是执行文件)执行命

Elasticsearch + Kibana+Logstash 8.x版本部署(linux)

Elasticsearch专栏入口入门教程在这里:Elasticsearch教程教程对Elasticsearch原生代码以及PythonAPI进行关联讲解适合Elasticsearch0基础想学习基础代码的选手适合想使用PythonAPI操作Elasticsearch的选手目录一、单节点部署Elasticsearch:1.1下载和基本准备工作1.2配置环境1.3服务启动1.4开机自启动二、kibana部署2.1下载和基本准备工作2.2环境配置2.3启动2.4检查三、Logstash部署3.1下载和基本准备工作3.2 ES+Logstash8.x同步mysql配置一、单节点部署Elasticse