草庐IT

Docker环境下，如何搭建ELK堆栈？详细教程和使用分析

Java编程世界 2023-03-28 原文

在本文中，我们将探讨如何在Docker环境下搭建ELK（Elasticsearch，Logstash和Kibana）堆栈。ELK是一种流行的开源日志分析平台，可用于实时搜索，分析和可视化数据。使用Docker可以轻松地构建，部署和管理ELK堆栈。

1、准备工作

在开始之前，我们需要安装Docker和Docker Compose。如果您还没有安装它们，请参阅Docker官方网站的文档以获取有关安装的说明。

2、创建Docker Compose文件

我们将使用Docker Compose来定义和运行ELK堆栈。我们需要创建一个docker-compose.yml文件来指定ELK容器的配置。以下是一个基本的docker-compose.yml文件，我们将在其中指定ELK堆栈的三个组件。

version: '3'

services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
container_name: elasticsearch
environment:
- node.name=elasticsearch
- discovery.type=single-node
ports:
- 9200:9200
networks:
- elk

logstash:
image: docker.elastic.co/logstash/logstash:7.10.2
container_name: logstash
volumes:
- ./logstash/config:/usr/share/logstash/pipeline/
command: logstash -f /usr/share/logstash/pipeline/logstash.conf
environment:
- pipeline.batch.size=500
- pipeline.workers=4
ports:
- 5000:5000
networks:
- elk

kibana:
image: docker.elastic.co/kibana/kibana:7.10.2
container_name: kibana
ports:
- 5601:5601
networks:
- elk

networks:
elk:
让我们一步一步地看看每个服务的配置是什么意思。

Elasticsearch服务

我们将使用Elasticsearch作为我们的日志存储和搜索引擎。在这个服务中，我们使用Elasticsearch的官方Docker镜像。我们将该容器命名为elasticsearch，并将其映射到主机的9200端口上。

我们还在环境变量中设置了一些参数，以指定节点名称和单节点发现。这将在我们运行多个节点的情况下很有用。

最后，我们将该服务连接到名为elk的网络。

Logstash服务

Logstash是一个数据处理管道，它可以从各种来源接收数据，并将其转换为Elasticsearch可读取的格式。在此服务中，我们将使用Elasticsearch的官方Docker镜像。

我们将该容器命名为logstash，并将其映射到主机的5000端口上。我们还将容器中的配置文件夹挂载到主机上的一个文件夹中。这将允许我们在容器外部编辑Logstash配置文件。

我们在环境变量中还设置了一些参数，例如批量大小和工作线程数。这些参数将有助于优化Logstash的性能。

最后，我们将该服务连接到名为elk的网络。

Kibana服务

Kibana是一个用于可视化和分析日志数据的Web界面。在此服务中，我们将使用Elasticsearch的官方Docker镜像。

我们将该容器命名为kibana，并将其映射到主机的5601端口上。这将允许我们通过Web浏览器访问Kibana界面。

最后，我们将该服务连接到名为elk的网络。

网络配置

我们使用名为elk的自定义网络来连接我们的ELK容器。这将允许我们容易地进行通信，并防止容器暴露到公共网络中。

3、创建Logstash配置文件

在Logstash服务中，我们将使用一个配置文件来指定从哪里接收日志数据，如何处理它们，并将其发送到Elasticsearch中。以下是一个基本的logstash.conf文件的示例：

input {
tcp {
port => 5000
codec => json
}
}

output {
elasticsearch {
hosts => ["elasticsearch:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
在此配置文件中，我们使用TCP输入插件来接收来自端口5000的日志数据。我们还指定了一个JSON编解码器，以便Logstash可以正确地解析接收到的JSON格式数据。

然后，我们使用Elasticsearch输出插件将处理后的数据发送到Elasticsearch。我们指定了Elasticsearch的主机地址，并将日志索引的名称设置为logstash-YYYY.MM.dd。这将允许我们按日期存储和搜索日志数据。

4、构建和运行ELK堆栈

我们已经准备好了docker-compose.yml和logstash.conf文件，现在我们可以构建和运行ELK堆栈。在命令行中，切换到包含这两个文件的目录，然后运行以下命令：

docker-compose up
这将构建和启动ELK堆栈中的所有容器。在第一次运行时，Docker将从Docker Hub下载所需的镜像。这可能需要一些时间，具体取决于您的网络速度。

一旦所有容器都成功启动，您可以在Web浏览器中访问Kibana界面。只需在浏览器中输入http://localhost:5601即可。

5、发送日志数据到ELK堆栈

现在我们已经成功搭建了ELK堆栈，接下来我们需要将日志数据发送到它。

在Logstash服务中，我们已经设置了一个TCP输入插件，它将监听来自5000端口的数据。因此，我们可以将日志数据发送到该端口，Log

stash将自动将其解析和发送到Elasticsearch中。

以下是一些将日志数据发送到ELK堆栈的示例方法：

使用nc命令发送日志数据

在Linux系统上，您可以使用nc（也称为netcat）命令将日志数据发送到Logstash服务。

首先，运行以下命令在主机上安装nc命令：

sudo apt-get install netcat
然后，使用以下命令发送一些日志数据：

echo '{"message": "Hello, World!"}' | nc localhost 5000
这将向Logstash服务发送一条JSON格式的日志消息。

使用Python发送日志数据

您还可以使用Python编写一个简单的脚本来将日志数据发送到Logstash服务。以下是一个示例脚本：

import socket
import json

logstash_host = "localhost"
logstash_port = 5000

log_data = {"message": "Hello, World!"}

log_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
log_socket.connect((logstash_host, logstash_port))
log_socket.send(json.dumps(log_data).encode('utf-8'))
log_socket.close()
这个脚本使用Python的socket模块连接到Logstash服务，并将JSON格式的日志数据发送到5000端口。

6、在Kibana中查看日志数据

现在我们已经成功发送了一些日志数据到ELK堆栈，接下来我们需要在Kibana中查看它们。

首先，打开Web浏览器并访问http://localhost:5601。这将打开Kibana界面。

在Kibana界面中，选择“Discover”选项卡。这将显示所有索引的日志数据。

在默认情况下，Kibana将显示最近15分钟的日志数据。您可以使用时间范围选择器来选择不同的时间范围。

在“Discover”选项卡中，您还可以使用各种过滤器和查询来过滤和搜索日志数据。

7、总结

通过使用Docker和ELK堆栈，我们可以快速、轻松地搭建一个功能强大的日志分析平台。

在本文中，我们学习了如何创建一个Docker Compose文件来定义ELK堆栈中的各种服务，并了解了如何使用Logstash配置文件将日志数据发送到Elasticsearch中。

我们还学习了如何使用Kibana界面来可视化和分析日志数据，并了解了如何使用各种过滤器和查询来过滤和搜索日志数据。

希望这篇文章能够帮助您快速入门ELK堆栈和日志分析领域。

8、参考资料

以下是本文中使用的一些参考资料：

  • Docker官方文档：https://docs.docker.com/
  • ELK堆栈官方文档：https://www.elastic.co/guide/index.html
  • Docker Compose官方文档：https://docs.docker.com/compose/
  • Logstash配置指南：https://www.elastic.co/guide/en/logstash/current/configuration.html
  • Kibana官方文档：https://www.elastic.co/guide/en/kibana/current/index.html

9、结论

通过本文的学习，我们了解了如何使用Docker和ELK堆栈来构建一个强大的日志分析平台。

ELK堆栈由三个核心组件组成：Elasticsearch、Logstash和Kibana。Elasticsearch用于存储和索引日志数据，Logstash用于解析和发送日志数据，Kibana用于可视化和分析日志数据。

我们使用Docker Compose文件来定义ELK堆栈中的各种服务，并使用Logstash配置文件将日志数据发送到Elasticsearch中。

最后，我们使用Kibana界面来可视化和分析日志数据，并学习了如何使用各种过滤器和查询来过滤和搜索日志数据。

希望这篇文章能够帮助您入门ELK堆栈和日志分析领域。

DockerELKspanstylecolor云计算云原生$DockerELK堆栈

有关Docker环境下，如何搭建ELK堆栈？详细教程和使用分析的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  4. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  5. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  6. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  9. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  10. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

随机推荐