草庐IT

master_connection

全部标签

hadoop - Cassandra 升级 0.8.2->0.8.4 出现错误 "failed connecting to all endpoints"

cassandra从0.8.2升级到0.8.4后出现这个错误我已经重新启动了cassandra,删除了数据等。没有任何帮助在它运行良好之前,我在云中有6台相同的机器。如果我做netstat那么它显示端口9160监听nodetool...ring-响应6台机器UP。可能是什么问题?:(线程“main”中的异常java.io.IOException:无法获取输入拆分在org.apache.cassandra.hadoop.ColumnFamilyInputFormat.getSplits(ColumnFamilyInputFormat.java:157)在org.apache.hadoop

apache - HBase master 无法启动,无法连接到 hbase.rootdir

我正在尝试根据apache网站上的设置以伪分布式模式运行HBase,但我无法正确配置hbase.root目录。这是我的配置文件的样子:在Hadoop目录中:conf/core-site.xml:fs.default.namehdfs://localhost:9000dfs.replication1mapred.job.trackerlocalhost:9001conf/hdfs-site.xml:dfs.replication1dfs.support.appendtruedfs.datanode.max.xcievers4096conf/mapred-site.xml:mapred.j

java - Master 和 Slave 节点都必须进行哪些 Hadoop 配置?

我们是否必须同时修改hadoop集群的主从节点的mapred-site.xml参数,例如并行执行的map和reduce任务的最大数量,或者只有主节点的配置更改才会足够了。在mapred-site.xml中对主节点上的mapred.map.child.java.opts和mapred.reduce.child.java.opts等参数所做的更改是否也会在客户端节点上进行更改?或者我们两者都做了。我们是否必须在主节点和客户端节点都指定dfs.block.size以使block大小不同于默认值?如果没有,是否有必须在主节点和客户端节点指定的参数来优化hadoop集群?

hadoop - 画面 : Error while using Impala to connect to Cloudera Hadoop

我正在研究如何使用Tableau连接到ClouderaHadoop。我提供服务器和端口详细信息并使用“Impala”进行连接。我能够成功连接,选择默认模式并选择所需的表。在此之后,当我将维度或度量拖放到“网格”上的行/列时,出现以下错误:[Cloudera][Hardy](22)来自ThriftHiveClient的错误:查询返回非零代码:10025,原因:失败:SemanticException[错误10025]:第1:7行表达式不在GROUPBY键中''.但是,如果我尝试使用与“HiveServer”(而不是“Impala”)相同的连接类型,它工作正常。我们不确定哪里出错了。非常感

hadoop - 区域服务器无法联系 HBase Master

我有一个由3个slave和1个master组成的Hadoop集群,上面有一个分别有3个RS和1个master的HBase集群。此外,在3台机器上还有一个Zookeeper集成。Hadoop集群以及Zookeeper整体正常运行。但是,HBase集群未能正确初始化。我通过运行./bin/start-hbase.sh启动HBase。这正确启动了HBaseMaster和区域服务器。hdfs中的hbase文件夹已正确设置。jpsonmasterhduser@master:~/hbase$jps5694HMaster3934JobHistoryServer3786NameNode3873Reso

Hadoop 错误 -"connection refused"?

我在Hadoop集群中遇到以下错误。我跑了一份工作,它很长,无法完成。然后每当我尝试访问Hdfs时,我都会得到:“从li417-43.members.linode.com/174.79.191.40调用li417-43.members.linode.com:8020连接异常失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused"有什么办法可以解决这个问题!谢谢 最佳答案 来自评论:没有java进程在运行

hadoop - Yarn Application master 和容器分配

在YARN中,应用程序主机向资源管理器请求资源,以便可以启动该应用程序的容器。applicationmaster是在启动第一个容器之前等待所有资源分配完毕,还是请求每个容器,当它获得容器的资源时,它开始启动特定的容器?即只有部分资源可用时的情况呢?它是否等待资源被释放?还是根据可用资源继续?MR应用程序主机如何决定MR作业的资源需求?是YARNMR客户端确定这个并将它发送给AM还是AM找到它?如果是这样,这是基于什么?我相信这是可配置的,但我可能在谈论未提供内存和CPU时的默认情况。 最佳答案 不,AM不会等待所有资源分配完毕。相反

hadoop - 我可以强制 YARN 使用 Application Master 容器的主节点吗?

在我的Hadoop/Spark运行期间,我的大主节点硬件几乎什么都不做,因为YARN在每个任务上为其AM使用随机从节点。我更喜欢旧的Hadoop1;当出现问题时,通过这种方式可以避免大量的日志追踪和ssh痛苦。这可能吗? 最佳答案 Spark和YARN节点标签是可能的。标记你的节点使用spark.yarn.am.nodeLabelExpression属性好读:https://developer.ibm.com/hadoop/2017/03/10/yarn-node-labels/ 关于h

scala - 无法导入带有 Scala 类 Connection* 的 HBase

我正在尝试从Hbase文档编译和运行scala示例http://hbase.apache.org/1.2/book.html#scala但我收到无法导入Connection和ConnectionFactory类的编译错误。我已经尝试了两个scala版本2.10.6和2.11.11,但在这两种情况下都失败了。简单的Scala代码:importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Connectionimportorg.apache.hadoop.hbase.client

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,

我正在使用hadoopteragen检查hadoopmapreduce与terasort的基准测试。但是当我运行以下命令时,hadoopjar/Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jarteragen-Dmapreduce.job.maps=1001trandom-data我得到以下异常,17/06/0115:09:21WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourp