草庐IT

time_start

全部标签

hadoop - master节点的"start-all.sh"和"start-dfs.sh"不启动slave节点服务?

我已经用我的从节点的主机名更新了Hadoop主节点上的/conf/slaves文件,但是我无法从主节点启动从节点。我必须单独启动从站,然后我的5节点集群启动并运行。如何使用主节点的单个命令启动整个集群?此外,SecondaryNameNode正在所有从节点上运行。那是问题吗?如果是这样,我怎样才能将它们从奴隶中移除?我认为一个集群中应该只有一个SecondaryNameNode和一个NameNode,对吗?谢谢! 最佳答案 在ApacheHadoop3.0中使用$HADOOP_HOME/etc/hadoop/workers文件每行添

hadoop - "Starting flush of map output"在 hadoop 映射任务中花费很长时间

我在一个小文件(3-4MB)上执行maptask,但map输出相对较大(150MB)。显示Map100%后,需要很长时间才能完成溢出。请建议我如何减少这段时间。以下是一些示例日志...13/07/1017:45:31INFOmapred.MapTask:Startingflushofmapoutput13/07/1017:45:32INFOmapred.JobClient:map98%reduce0%13/07/1017:45:34INFOmapred.LocalJobRunner:13/07/1017:45:35INFOmapred.JobClient:map100%reduce0%

hadoop - Oozie 作业停留在 PREP 状态下的 START 操作

我有一个从Java客户端启动的Oozie作业,它卡在START操作中,它说它正在运行,但START节点处于PREP状态。这是为什么以及如何解决这个问题?Oozie工作流只包含一个java操作。集群上的Hadoop版本是2.4.0,集群上的Oozie是4.0.0。这是workflow.xml${jobTracker}${nameNode}mapred.job.queue.namedefaulttestingoozieclient.ClientJavafailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}]这是java客户端Oo

hadoop - 在 hadoop 安装中找不到 start-all.sh

我正在尝试在我的本地机器上安装hadoop并正在关注this.我也设置了hadoophome这是我现在尝试运行的命令hduser@ubuntu:~$/usr/local/hadoop/bin/start-all.sh这是我得到的错误-su:/usr/local/hadoop/bin/start-all.sh:Nosuchfileordirectory这是我添加到我的$HOME/.bashrc文件中的内容#SetHadoop-relatedenvironmentvariablesexportHADOOP_HOME=/usr/local/hadoop#SetJAVA_HOME(wewill

hadoop - YARN : Application failed 2 times due to AM Container 上的 Spark 1.3.0

当使用以下脚本在YARN(Hadoop2.6.0.2.2.0.0-2041)上运行Spark1.3.0Pi示例时:#RunonaYARNclusterexportHADOOP_CONF_DIR=/etc/hadoop/conf/var/home2/test/spark/bin/spark-submit\--classorg.apache.spark.examples.SparkPi\--masteryarn-cluster\--executor-memory3G\--num-executors50\/var/home2/test/spark/lib/spark-examples-1.3

Hadoop 2.2.0 运行 start-dfs.sh 失败,错误为 : JAVA_HOME is not set and could not be found

我正在Ubuntu12.x中安装Hadoop。我已经有一个deploy用户,我计划用它在机器集群中运行hadoop。下面的代码演示了我的问题,基本上我可以ssholympus没有问题,但是start-dfs.sh却失败了:deploy@olympus:~$ssholympusWelcometoUbuntu12.04.4LTS(GNU/Linux3.5.0-45-genericx86_64)*Documentation:https://help.ubuntu.com/Lastlogin:MonFeb318:22:272014fromolympusdeploy@olympus:~$echo

PHP max_execution_time 没有超时

如果sleep被计入超时或类似问题,这不是常见问题之一。好的,这就是问题所在:我已经将PHP的max_execution_time设置为15秒,理想情况下这应该在超过设定限制时超时,但事实并非如此。更改php.ini文件后Apache已重新启动,并且ini_get('max_execution_time')一切正常。有时脚本会运行长达200秒,这太疯狂了。我没有任何数据库通信。所有脚本所做的就是在unix文件系统上寻找文件,在某些情况下重定向到另一个JSP页面。脚本中没有sleep()。我这样计算PHP脚本的总执行时间:在我设置的脚本开头:$_mtime=microtime();$_m

php - 读取 $_SESSION 需要 session_start()

假设我们有index.php,它调用session_start()并填充$_SESSION数据。当用户在网页上时,他们单击一个按钮,AJAX查询被启动到ajax.php。ajax.php没有调用session_start(),但是它成功读取了$_SESSION中的数据。这是预期的行为吗? 最佳答案 如果您查看phpinfo();调用的输出,您可能会注意到session.auto_start配置变量设置为1。参见documentationforfurtherreference.除非设置此标志,否则这绝对不是预期的行为,并且您可能在某处

php - 没有输出的时候ob_start就没用了吗?

我刚刚在此处看到一个链接,它与我遇到的问题几乎相同,但我想确保我理解了。这是链接:whatistheroleofob_start()inhere因此,他的代码没有真正的“输出”——没有echo,没有html,几乎什么都没有。但他有一个好的开始。我的和他的一样,是遗留代码,我的代码中没有输出。它所做的只是更新一些表。我在此链接中看到的所有答案都解决了ob_start的实际功能-我认为只有一个解决了他的真正问题,即“ob_start在这段代码中的作用是什么?”。因此,如果代码是不输出html或echo或其他任何内容的“幕后”脚本,那么输出缓冲区的东西不是没用吗?谢谢

php - 创建正则表达式以匹配 00 :00:00 for duration (not time) 的格式

您好,我正在使用laravel,我想验证创建一个正则表达式,该正则表达式将允许特定格式的持续时间(不是时间,因为这可以超过24小时格式)。因此,例如124小时30分24秒将表示为124:30:24。但是第一个值可以超过1个字符和一个数字,第二个值需要是一个冒号,第三个值需要是2个字符和一个数字,第四个值需要是一个冒号,第五个值需要是2个字符和一个数字。我有什么想法可以创建一个正则表达式来实现这一点以插入到以下数组中吗?$rules=array('duration'=>'required|regex:/^(?=.*[a-z])(?=.*[A-Z])(?=.*\d).+$/');无效示例: