草庐IT

user_service

全部标签

hadoop - YARN Timeline Service v2 无法启动

我在AWS上设置了一个测试HDP集群,用于评估一个项目。AmbariUI报告了一些错误,当我根据需要重新启动服务时,我遇到了YARN的问题。为YARN启动TimelineServiceReaderV2时,出现错误2018-08-1015:51:06,400INFO[main]client.RpcRetryingCallerImpl:Callexception,tries=15,retries=15,started=129034msago,cancelled=false,msg=CalltoHOSTNAME/IPADDRESS:17020failedonconnectionexcepti

java - HADOOP HTTPFS : giving error "User: ubuntu is not allowed to impersonate ubuntu" while accessing the application through Http

我在我的集​​群上安装了hadoop1.0.4,有1个主机和3个从机,现在我正在安装HTTPFS(hadoop-hdfs-httpfs-0.20.2-cdh3u5-SNAPSHOT)以使用http协议(protocol)访问HDFS内容,我可以通过它访问正常的页面curl-i"http://myhost:14000"它工作正常:)但是如果我尝试访问HDFS然后它给我错误(ubantu是我的用户):(curl-i"http://myhost:14000/webhdfs/v1?user.name=ubantu&op=OPEN"错误:{"RemoteException":{"message"

hadoop - $HIVE_HOME/bin/hive --service hiveserver

我是Hadoop/hive的新手。我已经安装了hadoop和hive。当我使用hive作为命令提示符时它工作正常但是我要实现hive的JDBC然后键入以下命令hive>$HIVE_HOME/bin/hive--servicehiveserver然后出现以下错误,所以请帮助我如何实现配置单元的jdbc请任何人帮助我...hduser@ubuntu:~$$HIVE_HOME/bin/hive--servicehiveserverStartingHiveThriftServerWARNING:org.apache.hadoop.metrics.jvm.EventCounterisdeprec

amazon-web-services - 如何让 Zeppelin 在 EMR 集群上干净地重启?

我正在运行EMR集群并尝试使用Zeppelin笔记本进行数据分析。版本:发布标签:emr-5.2.1Hadoop发行版:Amazon2.7.3hive2.1.0Spark2.0.2飞艇0.6.2我一直遇到Zeppelin在运行查询时挂起的问题,而且我永远无法恢复它。我试过:-重新启动解释器-通过SSH进入主节点并运行zeppelin_daemon.shrestart(已尝试以hadoop/root/zeppelin身份运行,并使用选项reload运行脚本,开始/停止,upstart)每次我使用守护程序shell脚本时,它都会告诉我它已经停止/启动正常,但是当我运行状态时我得到这个:Ze

amazon-web-services - 亚马逊 S3 架构

按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。虽然帖子@http://highscalability.com/amazon-architecture总体上解释了Amazon的架构,我很想知道AmazonS3是如何实现的。我的一些猜测是像HDFS这样的分布式文件系统http://hadoop.apache.org/core/docs/current/hdfs_design.html像CouchDB这样

hadoop - HDFS_NAMENODE_USER、HDFS_DATANODE_USER 和 HDFS_SECONDARYNAMENODE_USER 未定义

我是hadoop新手。我正在尝试以伪分布式模式在我的笔记本电脑中安装hadoop。我使用root用户运行它,但出现以下错误。root@debdutta-Lenovo-G50-80:~#$HADOOP_PREFIX/sbin/start-dfs.shWARNING:HADOOP_PREFIXhasbeenreplacedbyHADOOP_HOME.UsingvalueofHADOOP_PREFIX.Startingnamenodeson[localhost]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDF

Hadoop 2.2.0 : "name or service not known" Warning

我的目标是在Ubuntu12.4上运行hadoop2.2.0。我能够做到,但是当我运行以下命令时:rushi@ubuntu:/usr/local/hadoop$sbin/start-dfs.sh我的dfs正在启动namenode、scondarynamenode和datanode,但问题是我收到警告rushi@ubuntu:/usr/local/hadoop$sbin/start-dfs.sh14/01/2412:05:46WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingb

hadoop - 复制自本地 : `/user/hduser/gutenberg' : No such file or directory

到目前为止,我一直遵循michael-noll的指导,但卡在了这里。hduser@ubuntu:/usr/local/hadoop$bin/hadoopdfs-copyFromLocal/tmp/gutenberg/user/hduser/gutenbergDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.13/11/1123:24:13WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryfory

amazon-web-services - EMR 主节点是否知道其集群 ID?

我希望能够创建EMR集群,并让这些集群将消息发送回某个中央队列。为了让它工作,我需要在每个主节点上运行某种代理。这些代理中的每一个都必须在此消息中标识自己,以便收件人知道该消息是关于哪个集群的。主节点是否知道它的ID(j-***************)?如果不是,那么是否有其他一些识别信息可以让消息收件人推断出此ID?我查看了/home/hadoop/conf中的配置文件,但没有发现任何有用的东西。我在/mnt/var/log/instance-controller/instance-controller.log中找到了ID,但看起来很难用grep查找。我想知道实例Controlle

php - 德鲁巴 7 : Get user information on account creation

我正在尝试创建一个模块,用户可以在其中创建他的帐户并在提交时获取他的信息并将它们也插入第二个数据库中。我的意思是他将存在于两个数据库和Drupals用户表以及其他数据库的用户表中。我如何获取他的信息并将它们插入自定义数据库?我对Drupal开发完全陌生。提前感谢您的任何帮助或建议。 最佳答案 您将需要实现hook_form_alter()并使用以下代码:function[YOUR_MODULE]_form_alter(&$form,&$form_state,$form_id){if($form_id=="user_register_