草庐IT

apache-kafka-connect

全部标签

Spark Kafka流媒体 - 如何确定批次的末端

我使用Kafka流媒体从KAFKA主题中消费。(KafkaDirect流)此主题中的数据每5分钟从另一个来源到达。现在,我需要处理每5分钟后到达的数据,并将其转换为SparkDataFrame。现在,流是数据的连续流。我的问题是,如何确定我已经完成了在Kafka主题中加载的第一组数据的阅读?(以便我可以将其转换为数据框架并开始我的工作)我知道我可以提及某个数字的批处理间隔(在JavastreamingContext中),但是即使那样,我也永远无法确定源将数据将数据推到主题的时间。欢迎任何建议。看答案如果我正确理解您的问题,您希望不创建批处理,直到阅读5分钟的所有数据。开箱即用的Spark不会提

ruby-on-rails - Rails Resque 工作人员因 PGError : server closed the connection unexpectedly 失败

我在Ubuntu9.10、Rails2.3.4、ruby-ee2010.01、PostgreSQL8.4.2上有站点运行rails应用程序和在生产模式下运行的resqueworkerWorkers不断报错:PGError:serverclosedtheconnectionunexpectedly.我最好的猜测是masterresque进程建立了与db的连接(例如,authlogic在使用User.acts_as_authentic时会这样做),同时加载Rails应用程序类,并且该连接在fork()ed进程(退出时?)中被破坏,所以下一个fork的child会得到一种splinter的全

ruby - 如何在任何 Web 服务器(Apache 或 Mongrel 或其他任何东西)中运行简单的 ruby​​ 脚本

我觉得很有趣,当我搜索与ruby​​相关的内容时,所有与ruby​​onrails相关的结果都会弹出。所以没有人再使用原始ruby了吗?但是,我是ruby​​新手。今天早上我只是想在网络服务器上运行一个简单的helloworldruby​​脚本,首先是apache2,然后尝试了mongrel。但不幸的是我失败了。我用谷歌搜索了所有可能的方法,但结果只显示了关于ruby​​onrails的信息。那么真的有什么方法可以在任何Web服务器上运行ruby​​脚本,或者即使我只想做一个helloworld应用程序,我也必须使用ror? 最佳答案

ruby - Heroku Rails 4 无法连接到服务器 : connection refused

使用postgres。一直推不开。没有任何运气尝试过:config.assets.initialize_on_precompile=false----->PreparingappforRailsassetpipelineRunning:rakeassets:precompilerakeaborted!couldnotconnecttoserver:ConnectionrefusedIstheserverrunningonhost"127.0.0.1"andacceptingTCP/IPconnectionsonport5432? 最佳答案

ruby - 如何使用 Passenger 在 Apache 下设置 Sinatra 应用程序?

假设我有最简单的单文件Sinatra应用程序。helloworld在他们的主页上就可以了。我想在Apache下使用PhusionPassenger,又名mod_rails运行它。我需要什么样的目录结构?我必须在vhostconf文件中放入什么?我知道我需要一个rackup文件。里面有什么,为什么? 最佳答案 基本目录结构:app|--config.ru#虚拟主机文件:ServerNameapp.example.comDocumentRoot/path/to/app/publicOrderallow,denyAllowfromall配

ruby-on-rails - OpenSSL::SSL::SSLError: SSL_connect SYSCALL returned=5 errno=0 state=SSLv3 read server hello A

下面的代码会产生以下错误:OpenSSL::SSL::SSLError:SSL_connectSYSCALLreturned=5errno=0state=SSLv3readserverhelloArequire'net/https'uri=URI.parse("https://.com")http=Net::HTTP.new(uri.host,uri.port)http.use_ssl=truehttp.ssl_version='SSLv3'http.get(uri.request_uri)知道为什么吗?我尝试了所有其他问题中提到的所有内容,仍然没有运气。Ruby1.9.3p484(2

ruby-on-rails - rake Assets :precompile attempting to connect to database

我正在尝试调试为什么我的应用程序在我运行rakeassets:precompile--trace时尝试连接到我的数据库。我可能在堆栈跟踪中遗漏了一些东西...有人看到相关行吗?DEPRECATIONWARNING:TheInstanceMethodsmoduleinsideActiveSupport::Concernwillbenolongerincludedautomatically.PleasedefineinstancemethodsdirectlyinActionController::Baseinstead.(calledfromat/Users/Kyle/Desktop/s

ruby-on-rails - 使用 `ActiveRecord with_connection do` 和 ActionController::Live 时出现线程错误

主要编辑:自从最初发现此问题后,我已将其缩减为以下内容。我认为现在这是对问题的略微更精确的描述。因此,对OP的评论可能并不完全相关。编辑在rails/puma项目中发布的轻微修改版本:https://github.com/rails/rails/issues/21209,https://github.com/puma/puma/issues/758编辑现在用OSX和Rainbows复制总结:当使用Puma并运行长时间运行的连接时,我一直收到与跨线程的ActiveRecord连接相关的错误。这在消息中表现出来,例如消息类型0x##空闲时从服务器到达和锁定(崩溃)的服务器。设置:Ubunt

ruby-on-rails - 了解 establish_connection 在 ActiveRecord 中的工作原理

此代码取自ActiveRecord2.3.14的gem类ConnectionHandlerdefestablish_connection(name,spec)@connection_pools[name]=ConnectionAdapters::ConnectionPool.new(spec)end似乎每次ruby​​在模型上调用establish_connection时,它都会创建一个新的连接池。我的问题:如果我有5个模型使用establish_connection连接到同一个数据库,Rails是否足够智能以选择一个已经存在的池而不是创建一个具有相同连接凭据的新池?如果我的5个模型是

【已解决】浏览器无法访问页面,ERR_TUNNEL_CONNECTION_FAILED

【已解决】浏览器无法访问页面,ERR_TUNNEL_CONNECTION_FAILED问题描述无法访问浏览器页面,显示内容如下:一种可行的解决办法打开其他浏览器,确定是否为MicrosoftEdge的问题。如果其他浏览器可以正常访问:可能是搜索引擎或者注册表的问题,可以尝试更换搜索引擎或者还原设置。更换搜索引擎:点击右上角…>下拉菜单,选择设置>找到“搜索”栏>选择地址栏中使用的搜索引擎还原设置:点击右上角…>下拉菜单,选择设置>重置设置>点击将设置还原为其默认值>点击弹出框的重置如果其他浏览器也无法正常访问:或者提示已由组织接管(可在右上角…下拉列表找到由你的组织管理)可能是Edge的105