我一直在尝试在我的Windows系统上运行一个flume代理来获取Twitter数据。我正在关注这个博客https://acadgild.com/blog/streaming-twitter-data-using-flume但是，每当我尝试运行flume代理时，我都会收到以下错误-flume-ngagent-nTwitterAgent-f./conf/flume.confE:\apache-flume-1.7.0-bin\apache-flume-1.7.0-bin\bin>powershell.exe-NoProfile-InputFormatnone-ExecutionPolicy

我正在尝试将FLUME与HDFS集成，我的FLUME配置文件是hdfs-agent.sources=netcat-collecthdfs-agent.sinks=hdfs-writehdfs-agent.channels=memoryChannelhdfs-agent.sources.netcat-collect.type=netcathdfs-agent.sources.netcat-collect.bind=localhosthdfs-agent.sources.netcat-collect.port=11111hdfs-agent.sinks.hdfs-write.type=FI

第一次安装Flume。我正在使用hadoop-1.2.1和水槽1.6.0我尝试按照thisguide设置水槽代理.我执行了这个命令:$bin/flume-ngagent-n$agent_name-cconf-fconf/flume-conf.properties.template它说log4j:ERRORsetFile(null,true)调用失败。java.io.FileNotFoundException:./logs/flume.log(没有这样的文件或目录)flume.log文件不是自动生成的吗？如果没有，我该如何纠正这个错误？ 最佳答案

我正在尝试使用Flume和Hive进行Twitter分析。为了从twitter获取推文，我在flume.conf文件中设置了所有必需的参数(consumerKey、consumerSecret、accessToken和accessTokenSecret)。TwitterAgent.sources=TwitterTwitterAgent.channels=MemChannelTwitterAgent.sinks=HDFSTwitterAgent.sources.Twitter.type=com.cloudera.flume.source.TwitterSourceTwitterAgent

我正在运行hortonworks2.3，目前通过ambari连接到RESTAPI以启动/停止flume服务并提交配置。这一切都很好，我的问题是如何获得指标？以前我曾经运行一个带有参数的代理来生成到http端口的指标，然后使用这个从那里读取它们:-Dflume.root.logger=INFO,console-Dflume.monitoring.type=http-Dflume.monitoring.port=XXXXX但是现在Ambari启动了代理，我不再能控制它。任何帮助表示赞赏:-) 最佳答案 使用Ambari2.6.2.0，h

虽然我能够将Flume数据(来自Kafka)正确地存储在HDFS中，但我没有运气将它们存储在HBase中......平台是Cloudera5.10.1。我的flumeconf是:tier1.sources=source1tier1.channels=channel1#tier1.sinks=hdfs1tier1.sinks=hbase1tier1.sources.source1.type=org.apache.flume.source.kafka.KafkaSourcetier1.sources.source1.zookeeperConnect=master3d.localdomain

我想在ubuntu上安装ApacheFlume1.4.0以移动数据并将其存储到HDFS，但我找不到显示如何正确安装flume的安装指南。我下载了二进制zip。有什么帮助吗？ 最佳答案 Ubuntu中的ApacheFlume安装步骤:Step1:DownloadtheLatestVersionofFlume.Step2:tar–xzvfapache-flume-1.5.0-bin.tar.gzStep3:sudomvapache-flume-1.5.2-bin/usr/local/flumeStep4:sudonano~/.bashr

我正在尝试使用flume将Twitter数据流式传输到hdfs中:https://github.com/cloudera/cdh-twitter-example/无论我在这里尝试什么，它都会不断在HDFS中创建大小在1.5kB到15kB之间的文件，而我希望看到大文件(64Mb)。这是代理配置:TwitterAgent.sources=TwitterTwitterAgent.channels=MemChannelTwitterAgent.sinks=HDFSTwitterAgent.sources.Twitter.type=com.cloudera.flume.source.Twitte

我已将flume配置为读取日志文件并写入HDFS。当我启动水槽时，会读取日志文件但不会写入HDFS。flume.log有警告消息-couldnotconfiguresink-nochannelconfiguredforsink但我已经在conf文件中分配了一个channel以接收。下面是配置文件和错误信息:File:spool-to-hdfs.properties#Listallcomponents.agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Describesource.agent1.sources

我想使用ApacheFlume提取与6月和7月的关键字相关的Twitter提要。这首先可以做到吗？ 最佳答案 AFAIK，来自Cloudera的TwitterSource仅用于在生成数据的同时接收数据。我认为Twitter1%firehosesource会发生类似的事情.尽管如此，我发现TwitterAPI可以与timelines一起使用,因此这是修改TwitterSource的问题源代码。 关于apache-ApacheFlume可以用于提取特定时间段内的推文吗？，我们在StackOv