在使用flume(1.6&1.7)时遇到以下错误2016-12-0200:57:11,634(pool-3-thread-1)[WARN-org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:143)]Linelengthexceedsmax(2048),truncatingline!2016-12-0200:57:11,777(pool-3-thread-1)[ERROR-org.apache.flume.source.SpoolDirectorySource$SpoolDirec
我想让flume代理位于hadoop集群之外，并且想知道是否可以使用flume通过WebHDFS将消息发送到hadoop集群。如果没有，是否有使用WebHDFS的替代方案？使用多层水槽层仍然需要我在hadoop集群中运行水槽代理。 最佳答案 只要您指定“hdfs”作为它们的类型，flume代理就可以在它们自己的机器上运行，而无需在hadoop集群内。我有一个水槽代理将avro事件写入hdfs接收器，而不是在hadoop集群上或使用WebHDFS。这是它的设置:agent.sinks.sink1.channel=channel1age
我正在尝试设置一个基本的Kafka-Flume-HDFS管道。Kafka已启动并正在运行，但是当我通过启动水槽代理时bin/flume-ngagent-nflume1-cconf-fconf/flume-conf.properties-Dflume.root.logger=INFO,console似乎代理没有出现，因为我得到的唯一控制台日志是:Info:Sourcingenvironmentconfigurationscript/opt/hadoop/flume/conf/flume-env.shInfo:IncludingHivelibrariesfoundvia()forHivea
我想在我的windows10上安装flume代理，以便将日志记录到安装在虚拟机上的hortonworks沙箱中。我引用此链接进行了所有设置-https://gudisevablog.wordpress.com/2016/12/08/apache-flume-windows-10/但是当我运行这个时出现了一些问题命令——“flume-ngagent–conf%FLUME_CONF%–conf-file%FLUME_CONF%/flume-conf.properties.template–nameagent”ERROR-Sourcing环境配置脚本C:\flume\apache-flume
我一直在尝试在我的Windows系统上运行一个flume代理来获取Twitter数据。我正在关注这个博客https://acadgild.com/blog/streaming-twitter-data-using-flume但是，每当我尝试运行flume代理时，我都会收到以下错误-flume-ngagent-nTwitterAgent-f./conf/flume.confE:\apache-flume-1.7.0-bin\apache-flume-1.7.0-bin\bin>powershell.exe-NoProfile-InputFormatnone-ExecutionPolicy
我正在尝试将FLUME与HDFS集成，我的FLUME配置文件是hdfs-agent.sources=netcat-collecthdfs-agent.sinks=hdfs-writehdfs-agent.channels=memoryChannelhdfs-agent.sources.netcat-collect.type=netcathdfs-agent.sources.netcat-collect.bind=localhosthdfs-agent.sources.netcat-collect.port=11111hdfs-agent.sinks.hdfs-write.type=FI
第一次安装Flume。我正在使用hadoop-1.2.1和水槽1.6.0我尝试按照thisguide设置水槽代理.我执行了这个命令:$bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template它说log4j:ERRORsetFile(null,true)调用失败。java.io.FileNotFoundException:./logs/flume.log(没有这样的文件或目录)flume.log文件不是自动生成的吗？如果没有，我该如何纠正这个错误？ 最佳答案
我正在尝试使用Flume和Hive进行Twitter分析。为了从twitter获取推文，我在flume.conf文件中设置了所有必需的参数(consumerKey、consumerSecret、accessToken和accessTokenSecret)。TwitterAgent.sources=TwitterTwitterAgent.channels=MemChannelTwitterAgent.sinks=HDFSTwitterAgent.sources.Twitter.type=com.cloudera.flume.source.TwitterSourceTwitterAgent
我正在运行hortonworks2.3，目前通过ambari连接到RESTAPI以启动/停止flume服务并提交配置。这一切都很好，我的问题是如何获得指标？以前我曾经运行一个带有参数的代理来生成到http端口的指标，然后使用这个从那里读取它们:-Dflume.root.logger=INFO,console-Dflume.monitoring.type=http-Dflume.monitoring.port=XXXXX但是现在Ambari启动了代理，我不再能控制它。任何帮助表示赞赏:-) 最佳答案 使用Ambari2.6.2.0，h
虽然我能够将Flume数据(来自Kafka)正确地存储在HDFS中，但我没有运气将它们存储在HBase中......平台是Cloudera5.10.1。我的flumeconf是:tier1.sources=source1tier1.channels=channel1#tier1.sinks=hdfs1tier1.sinks=hbase1tier1.sources.source1.type=org.apache.flume.source.kafka.KafkaSourcetier1.sources.source1.zookeeperConnect=master3d.localdomain
