草庐IT

connects

全部标签

java - DataNode 无法连接名称节点 - "org.apache.hadoop.ipc.Client: Retrying connect to server"

我已经部署了一个具有1个名称节点和2个数据节点的Hadoop3.1.2集群。NameNode已UP,secondaryNameNode和ResourceManager也up为MasterNode,但DataNode无法连接NameNode,因此没有显示容量。我一直在尝试找出错误可能是什么,但到目前为止还没有成功。删除了域解析,因为我遇到了奇怪的错误:WARNING:AttemptingtostartallApacheHadoopdaemonsashadoopin10seconds.WARNING:Thisisnotarecommendedproductiondeploymentconf

hadoop - Cassandra 升级 0.8.2->0.8.4 出现错误 "failed connecting to all endpoints"

cassandra从0.8.2升级到0.8.4后出现这个错误我已经重新启动了cassandra,删除了数据等。没有任何帮助在它运行良好之前,我在云中有6台相同的机器。如果我做netstat那么它显示端口9160监听nodetool...ring-响应6台机器UP。可能是什么问题?:(线程“main”中的异常java.io.IOException:无法获取输入拆分在org.apache.cassandra.hadoop.ColumnFamilyInputFormat.getSplits(ColumnFamilyInputFormat.java:157)在org.apache.hadoop

hadoop - 画面 : Error while using Impala to connect to Cloudera Hadoop

我正在研究如何使用Tableau连接到ClouderaHadoop。我提供服务器和端口详细信息并使用“Impala”进行连接。我能够成功连接,选择默认模式并选择所需的表。在此之后,当我将维度或度量拖放到“网格”上的行/列时,出现以下错误:[Cloudera][Hardy](22)来自ThriftHiveClient的错误:查询返回非零代码:10025,原因:失败:SemanticException[错误10025]:第1:7行表达式不在GROUPBY键中''.但是,如果我尝试使用与“HiveServer”(而不是“Impala”)相同的连接类型,它工作正常。我们不确定哪里出错了。非常感

Hadoop 错误 -"connection refused"?

我在Hadoop集群中遇到以下错误。我跑了一份工作,它很长,无法完成。然后每当我尝试访问Hdfs时,我都会得到:“从li417-43.members.linode.com/174.79.191.40调用li417-43.members.linode.com:8020连接异常失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused"有什么办法可以解决这个问题!谢谢 最佳答案 来自评论:没有java进程在运行

scala - 无法导入带有 Scala 类 Connection* 的 HBase

我正在尝试从Hbase文档编译和运行scala示例http://hbase.apache.org/1.2/book.html#scala但我收到无法导入Connection和ConnectionFactory类的编译错误。我已经尝试了两个scala版本2.10.6和2.11.11,但在这两种情况下都失败了。简单的Scala代码:importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Connectionimportorg.apache.hadoop.hbase.client

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,

我正在使用hadoopteragen检查hadoopmapreduce与terasort的基准测试。但是当我运行以下命令时,hadoopjar/Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jarteragen-Dmapreduce.job.maps=1001trandom-data我得到以下异常,17/06/0115:09:21WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourp

hadoop - --options-file 与 --connection-param-file 有何不同

Sqoop文档将--options-file的示例显示为:##OptionsfileforSqoopimport##Specifiesthetoolbeinginvokedimport#Connectparameterandvalue--connectjdbc:mysql://localhost/db#Usernameparameterandvalue--usernamefoo##Remainingoptionsshouldbespecifiedinthecommandline.#按照上面的说法,如果它只是连接信息,并且按照注释,所有剩余的选项都应该在命令行中指定,为什么它在--opt

java - 8021 连接异常失败 : java.net.ConnectException : Connection refused at org. apache.hadoop.ipc.Client.wrapException(Client.java:1095)

您好,我正在尝试配置Hadoop1.0。通过关注此博客以伪分布式模式。http://hadoop-tutorial.blogspot.de/2010/11/running-hadoop-in-pseudo-distributed.html?showComment=1337083501000#c615470573579885293.但是当我运行hadoop发行版中给出的pi示例时,我得到了标题中提到的错误。有人可以帮助我并指导我如何解决这个问题。另外,如果可能的话,请在确定问题的同时提出解决方案。这是我通过运行jps得到的结果8322Jps7611SecondaryNameNode747

python - Spark 异常 : Python worker did not connect back in time

我正在尝试将Python作业提交到2个工作节点的Spark集群,但我一直看到以下问题,最终导致spark-submit失败:15/07/0421:30:40WARNscheduler.TaskSetManager:Losttask0.1instage0.0(TID2,workernode0.rhom-spark.b9.internal.cloudapp.net):org.apache.spark.SparkException:Pythonworkerdidnotconnectbackintimeatorg.apache.spark.api.python.PythonWorkerFact

hadoop - Kafka 主题与 Kafka Connect to HDFS 合并

是否可以配置KafkaConnect的HDFS连接器以将多个单独的主题写入/合并到一个文件中?主题将包含具有相同avro架构的消息,我希望KafkaConnect充当这些Kafka主题和HDFS之间的中介。最坏的情况是主题内容在写入HDFS后可能会合并,但我觉得使用HDFS连接器应该可以实现更简洁、更快速的方法。 最佳答案 现在HDFS连接器会将每个主题写入其自己的目录。你可以在写完之后在HDFS中组合目录,或者在写到HDFS之前在Kafka中组合topic,但是connector本身是不会做的。