草庐IT

docker - 是否可以为 ElasticBeanstalk Docker 应用程序提供集中式日志记录？

coder 2023-05-06 原文

我们在 Elastic Beanstalk Docker 容器环境中运行了自定义 Docker Web 应用程序。 希望有应用程序日志可供外部查看。无需通过实例或 AWS 控制台下载。

到目前为止，这两种解决方案都 Not Acceptable 。也许有人为 Elastic Benastalk Dockerized 应用实现了集中式日志记录？

解决方案 1:AWS 控制台日志下载

Not Acceptable - 需要下载日志，每次都提取。非实时。

解决方案 2:S3 + Elasticsearch + Fluentd

fluentd 没有从 S3 检索日志的插件 有优秀的 S3 插件，但它仅用于将日志输出到 S3。不适用于来自 S3 的输入日志。

解决方案 3:S3 + Elasticsearch + Logstash

缺点:只能从整个存储桶中提取所有日志或什么都不提取。

问题在于 Elastic Beanstalk S3 日志存储结构。您不能指定文件名模式。它要么是所有日志，要么什么都没有。 ElasticBeanstalk 将 S3 上的日志保存在包含随机实例和环境 ID 的路径中:

s3.bucket/resources/environments/logs/publish/e-<random environment id>/i-<random instance id>/my.log@

Logstash s3 插件只能指向资源/环境/日志/发布/。当您尝试将其指向 environment/logs/publish/*/my.log 时，它不起作用。 这意味着您不能提取特定日志并标记/键入它以便能够在 Elasticsearch 中找到。由于 AWS 将您所有环境和实例的日志保存在相同的文件夹结构中，因此您甚至无法选择实例。

解决方案 4:AWS CloudWatch 控制台日志查看器

可以将您的自定义日志转发到 CloudWatch 控制台。做到这一点，将配置文件放在应用程序包的 .ebextensions 路径中: http://docs.aws.amazon.com/elasticbeanstalk/latest/dg/AWSHowTo.cloudwatchlogs.html

有一个名为 cwl-webrequest-metrics.config 的文件，它允许您指定日志文件以及警报等。 伟大的!？除了配置文件格式既不是 yaml、xml 或 Json，也没有记录。该文件的提及绝对为零，它的格式在 AWS 文档网站或网络上的任何地方。 并且要让一个日志文件出现在 CloudWatch 中并不是简单地添加一个配置行。 实现这项工作的唯一可能方法似乎是反复试验。伟大的!？除了您需要重新部署环境的每一次尝试。

只有一个关于如何使用自定义日志进行这项工作的引用:http://qiita.com/kozayupapa/items/2bb7a6b1f17f4e799a22我不知道那个人是如何对文件格式进行逆向工程的。

缺点:

  • Cloudwatch 在显示时似乎无法将日志拆分为列，因此您无法轻松按优先级等进行过滤。
  • AWS 控制台日志查看器没有自动刷新以跟踪日志。
  • 噩梦无证配置文件格式，没办法测试。反复试验需要重新部署整个实例。

最佳答案

也许是 AWS Lambda function适用吗？

编写一些转储所有通知的 javascript，然后看看你能用这些做什么。

对象写入后，可以在同一个bucket中重命名吗？

或者通知您自己的日志管理服务创建新对象？

那里有很多可能性......

关于docker - 是否可以为 ElasticBeanstalk Docker 应用程序提供集中式日志记录？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27324582/

志记集中式section自定strongdockerlogstashamazon-elastic-beanstalkamazon-cloudwatch

有关docker - 是否可以为 ElasticBeanstalk Docker 应用程序提供集中式日志记录？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  3. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  4. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  5. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  6. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  7. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  8. ruby - 检查数组是否在增加 - 2

    这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加？这是我的解决方案，但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife

  9. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  10. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

随机推荐