草庐IT

new_time

全部标签

hadoop - 在 Eclipse Map/Reduce 位置中,New Hadoop 位置没有响应?

在eclipse中,我正在尝试添加新的hadoop位置。但是当我点击添加新的hadoop位置时,它没有响应。我为hadoop1.0.4构建了自己的插件。我的list如下所示,Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-cli-1.2.jar,lib/commons-lang-2.4.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/jackson-co

scala - 'new HiveContext' 需要 X11 显示? com.trend.iwss.jscan?

Spark1.6.2(yarn大师)包名:com.example.spark.Main基本的SparkSQL代码valconf=newSparkConf()conf.setAppName("SparkSQLw/Hive")valsc=newSparkContext(conf)valhiveContext=newHiveContext(sc)importhiveContext.implicits._//valrdd=valdf=rdd.toDF()df.write.saveAsTable("example")还有堆栈跟踪...NoX11DISPLAYvariablewasset,butt

在Android Studio导入一个项目之后,通常需要下载Gradle的相应版本,但是AS的自动下载很慢,有时候甚至会失败。会出现类似Error:connect time out等错误...

用AndroidStudio导入一个项目时,用Gradle构建过程中报错误,估计是下载gradle.zip文件时访问不到,应该是被墙了,网速太慢,下载不了外网资源。错误有如下情况:1、加载过慢2、下载超时3、下载失败解决方法如下:1、下载对应的gradle版本在Project的视图下,找到gradle,里面的cradle-wrapper.properties显示我们需要的gradle版本,然后打开连接下载对应版本(可能这里的链接下载比较慢,可以找找其他下载链接)这时候我们可以在官网或者其他网站用浏览器下好再放到相应目录,在AS的底部可以看到gradle的版本,如果不清楚可以打开gradle-w

apache - Hadoop/map-reduce : Total time spent by all maps in occupied slots vs. 所有 map task 花费的总时间

背景:我正在分析AWSHadoop作业在各种集群配置上的性能,一些Hadoop计数器令人困惑。问题:“所有map在占用槽中花费的总时间”和“所有maptask花费的总时间”有什么区别?(减少相同的问题)。为简单起见,我们称这些计数器为mapO、mapT、redO和redT。这是我在三种不同的配置中看到的(每种配置都有不同数量的核心/从节点):1)对于AWS/EMR作业(Hadoop2.4.0-amzn-3),mapO/mapT的比率始终为6.0,redO/redT的比率始终为12.0。2)对于使用实例存储的手动安装的Hadoop(Hadoop2.4.0.2.1.5.0-695),map

hadoop - 为什么Hadoop遵循WORM(write once read many times),不允许update?

Hadoop遵循WORM(一次写入多次读取)。为什么它不允许任何更新?谢谢 最佳答案 真正的问题是更新数据的动机是什么?我们将我们的实体存储在数据库中并在看到新信息时更新它们,但为什么呢?原因是当它最初被架构时,磁盘空间是昂贵的。快进到今天,磁盘空间很便宜,这意味着我们可以负担得起将数据更改反射(reflect)为新条目,例如实体在其生命周期中经历的更改日志。通过使用这种方法,数据的沿袭更加明显-我们只需重新访问同一实体的旧版本即可发现它的来源以及对其应用了哪些转换。此外,如果最新版本出现问题,一切都不会丢失。我们只需退回到旧版本,

hadoop - Cloudera hadoop : not able to run Hadoop fs command and at same time HBase is not able to create directory on HDFS?

我已经启动并运行了6个节点的cloudera5.0beta集群但是我无法使用命令查看hadoopHDFS的文件和文件夹sudo-uhdfshadoopfs-ls/在输出中它显示了linux目录的文件和文件夹。尽管namenodeUI正在显示文件和文件夹。在HDFS上创建文件夹时出现错误sudo-uhdfshadoopfs-mkdir/testmkdir:`/test':Input/outputerror由于此错误,hbase未启动并关闭并出现以下错误:Unhandledexception.Startingshutdown.java.io.IOException:Exceptioninm

hadoop - java.lang.OutOfMemoryError : unable to create new native thread for big data set 错误

我运行的hive查询对于小型数据集运行良好。但我正在运行2.5亿条记录,我在日志中遇到的错误低于此FATALorg.apache.hadoop.mapred.Child:Errorrunningchild:java.lang.OutOfMemoryError:unabletocreatenewnativethreadatjava.lang.Thread.start0(NativeMethod)atjava.lang.Thread.start(Thread.java:640)atorg.apache.hadoop.mapred.Task$TaskReporter.startCommuni

php time() 和 microtime() 有时不一致

在使用microtime()(使用PHP5)记录一些数据时,我遇到了一些值,这些值似乎与我的日志文件的时间戳略有不同,所以我只是尝试比较time()和microtime()和一个简单的脚本(usleep只是为了限制数据输出):$time){echo$time.':'.$microtime.'';}usleep(50000);}?>现在,由于在$time之前声明了$microtime,我希望它更小,并且永远不会输出任何内容;然而,这显然不是这种情况,$time有时会小于microtime()返回的秒数,如本例(截断)输出所示:1344536674:0.155451001344536675

php - 我应该使用 new self 还是 new static?

我从事一个专有项目,该项目使用大量不同形式的工厂。幸运的是,它们中的大多数都没有按名称实例化类,但是使用newself()还是newstatic()来实例化取决于开发人员。我知道其中的区别,但我很好奇在技术上不需要后期静态绑定(bind)时,是否就哪一种是“正确”方式达成共识。例如,newstatic()经常出现在几乎肯定永远不会被子类化的服务类中。这在抽象类中显然很重要,但我更喜欢在不需要子类的地方使用newself()。解决技术差异的问题:Newselfvs.newstaticwhatmeansnewstatic?Whyreturnnewstatic?(PHP)我好奇的是:使用后期

php - WAMP 2.2e - phpmyadmin fatal error : Maximum execution time of 30 seconds exceeded

当我尝试打开phpmyadmin时,所有服务都在运行(wamp图标为绿色),但出现此错误。似乎有什么问题? 最佳答案 您可以像@HanhNghien在您的php.ini评论中所说的那样设置最大执行时间。max_execution_time=120max_input_time=120但我认为更好的问题是为什么需要phpmyadmin这么多时间。也许您应该检查您的Apache日志并检查是否有错误。 关于php-WAMP2.2e-phpmyadminfatalerror:Maximumexec