草庐IT

timed-out

全部标签

Hadoop 色调 : Counter results greyed out

我创建了一个启用了分析的Solr仪表板。计数器按钮现在显示,但它是灰色的。Hue或solr中是否有任何我应该启用的附加标志?谢谢我正在使用Solr7+Hue4 最佳答案 这是一个错误https://issues.cloudera.org/browse/HUE-7337这将很快得到解决。解决方法是在您的集合中添加一个数字字段。 关于Hadoop色调:Counterresultsgreyedout,我们在StackOverflow上找到一个类似的问题: https

java - 错误 : java. lang.NumberFormatException:对于输入字符串: "time"

我正在尝试编写javaMapReduce代码并不断收到错误:Error:java.lang.NumberFormatException:Forinputstring:"time"atjava.lang.NumberFormatException.forInputString(NumberFormatException.java:65)atjava.lang.Long.parseLong(Long.java:589)atjava.lang.Long.parseLong(Long.java:631)atTokenizerMapper.map(UnknownSource)atTokenize

apache - TSocket : Could not connect to server (Connection timed out [110])

关注这篇文章http://nousefor.net/55/2011/12/php/hbase-and-hive-thrift-php-client/我下载了HBase和Thriftphp客户端包并将它们放在我的ubuntu机器上的var/www/thrift/目录中,并编写了这个简单的客户端代码来打开连接并显示数据库中的表。但是服务器不断返回错误消息“连接超时[110]”。有任何想法吗..??此外,当使用$transport=newTSocket('localhost',10001);在服务器(AmazonEC2)上运行时代码执行良好open();}catch(Exception$ex

hadoop - 如何读取Hadoop Map中间文件file.out

我已经在mapred-site.xml中将属性keep.task.files.pattern设置为".*"重新启动集群并执行我的测试mapreduce程序。我在文件夹中看到两个文件file.out和file.out.index/opt/hadoopws/tmp/mapred/local/taskTracker/hduser/jobcache/job_201403260903_0001/attempt_201403260903_0001_m_000000_0/output/当我尝试使用下面的代码读取file.out时,我得到了“notaSequenceFileerror”消息。当我尝试用

hadoop - HDFS 连接操作 : Does it lead to increased seek time?

我试图了解HDFS如何实现concat操作并深入到以下部分code.在我看来,从这个实现来看,concat只是对目标文件的inode进行元操作,实际block没有移动。我在想这是否会导致碎片化+增加寻道时间,因为不同的block会位于磁盘上的不同位置(考虑磁盘)。这个假设是否正确?如果是,我们可以避免这种情况吗? 最佳答案 经过几次实验,我找到了自己问题的答案。在非常频繁的文件连接操作(每分钟约1k)之后,数据节点开始提示一天左右的block太多,这让我相信这确实会导致碎片化和磁盘上block数量的增加。我使用的解决方案是编写一个单

linux -/usr/bin/time 使用 SPARK 时针对 TOP 的 CPU 利用率

我使用Spark中的MLIB库对大小为8G和700万行的数据运行了SVM算法。我在单个节点上以独立模式运行Spark。我使用/usr/bin/time-v来捕获有关作业的数据。我得到了峰值内存利用率和%CPU时间等等。我得到的CPU使用率百分比仅为6%。我在程序运行的同时监视TOP一段时间,我可以看到超过100%几乎始终如一地被使用。我现在很困惑,为什么/usr/bin/time只显示了6%?更多细节-我的机器是16G,我运行的程序消耗了13.88G。程序执行时间为2.1小时。任何见解,任何人? 最佳答案 我发现了问题。因此,usr

hadoop - reducer 类不能启动吗?在 reducer 日志中看不到 System.out.println 语句

我有一个驱动程序类、映射器类和reducer类。mapreduce作业运行良好。但是期望的结果并没有出现。我已将System.out.println语句放入reducer中。我查看了mapper和reducer的日志。我放在映射器中的System.out.println语句可以在日志中看到,但在日志中看不到reducer中的println语句。reducer有没有可能根本就没有启动?这是来自reducer的日志。 最佳答案 我假设这个问题是基于你之前问题中的代码:mapreducecompositeKeysample-doesn't

Hadoop reducer 错误 : "Shuffle Error: Exceeded the abort failure limit; bailing-out"

我有一个hadoop0.20map/reduce作业,过去运行得很好。最近几天卡在reduce阶段16.66%,我在jobtracker查看reduce任务时看到如下错误;ShuffleError:Exceededtheabortfailurelimit;bailing-out.谁能告诉我这是什么意思,也许能给我指出正确的方向,这样我就能弄清楚如何解决这个问题? 最佳答案 此错误对应于reducer在报告它并映射到属性mapreduce.reduce.shuffle.maxfetchfailures之前尝试获取映射输出的最大次数。您

java - 如何让 system.out.println() 在 hadoop 中工作

我正在尝试在hadoop中进行调试。我想使用System.out.println()将一些变量打印到终端,但没有任何内容输出到终端。我检查了下的作业历史记录/日志http://serverurl:19888/jobhistory/app但那里仍然只有INFO,没有println()。此外,我修改了log4j.properties,改了hadoop.root.logger=INFO,console到hadoop.root.logger=ALL,console但还是不行。有人有什么想法吗?非常感谢。 最佳答案 为什么不定义一个记录器并通

performance - "time spent by map task"在 Hadoop 上包括什么?

Hadoop作业成功后,会显示各种计数器的摘要,请参见下面的示例。我的问题是Totaltimespentbyallmaptasks计数器中包含什么,特别是在映射器作业不是节点本地的情况下,是否包含数据复制时间?17/01/2509:06:12INFOmapreduce.Job:Counters:49FileSystemCountersFILE:Numberofbytesread=2941FILE:Numberofbyteswritten=241959FILE:Numberofreadoperations=0FILE:Numberoflargereadoperations=0FILE:N