草庐IT

connection_specification

全部标签

scala - 无法导入带有 Scala 类 Connection* 的 HBase

我正在尝试从Hbase文档编译和运行scala示例http://hbase.apache.org/1.2/book.html#scala但我收到无法导入Connection和ConnectionFactory类的编译错误。我已经尝试了两个scala版本2.10.6和2.11.11,但在这两种情况下都失败了。简单的Scala代码:importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Connectionimportorg.apache.hadoop.hbase.client

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,

我正在使用hadoopteragen检查hadoopmapreduce与terasort的基准测试。但是当我运行以下命令时,hadoopjar/Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jarteragen-Dmapreduce.job.maps=1001trandom-data我得到以下异常,17/06/0115:09:21WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourp

hadoop - Apache hive : How to Add Column at Specific Location in Table

我想在Hive表的特定位置添加一个新列。当我添加新列时,它会转到最后一个位置。 最佳答案 您需要重新创建表。如果表是外部表并且数据已经包含新列,则发出drop和createtable语句。一般的解决方案是:1.createnew_table...;2.insertoverwritenew_tableselectfromold_table;3.dropold_table;4.alternew_tablerenametoold_table;此外,如果数据文件已经在某个位置包含新列,您可以1.Altertableaddcolumn使用此示

hadoop - --options-file 与 --connection-param-file 有何不同

Sqoop文档将--options-file的示例显示为:##OptionsfileforSqoopimport##Specifiesthetoolbeinginvokedimport#Connectparameterandvalue--connectjdbc:mysql://localhost/db#Usernameparameterandvalue--usernamefoo##Remainingoptionsshouldbespecifiedinthecommandline.#按照上面的说法,如果它只是连接信息,并且按照注释,所有剩余的选项都应该在命令行中指定,为什么它在--opt

java - 8021 连接异常失败 : java.net.ConnectException : Connection refused at org. apache.hadoop.ipc.Client.wrapException(Client.java:1095)

您好,我正在尝试配置Hadoop1.0。通过关注此博客以伪分布式模式。http://hadoop-tutorial.blogspot.de/2010/11/running-hadoop-in-pseudo-distributed.html?showComment=1337083501000#c615470573579885293.但是当我运行hadoop发行版中给出的pi示例时,我得到了标题中提到的错误。有人可以帮助我并指导我如何解决这个问题。另外,如果可能的话,请在确定问题的同时提出解决方案。这是我通过运行jps得到的结果8322Jps7611SecondaryNameNode747

python - Spark 异常 : Python worker did not connect back in time

我正在尝试将Python作业提交到2个工作节点的Spark集群,但我一直看到以下问题,最终导致spark-submit失败:15/07/0421:30:40WARNscheduler.TaskSetManager:Losttask0.1instage0.0(TID2,workernode0.rhom-spark.b9.internal.cloudapp.net):org.apache.spark.SparkException:Pythonworkerdidnotconnectbackintimeatorg.apache.spark.api.python.PythonWorkerFact

hadoop - Kafka 主题与 Kafka Connect to HDFS 合并

是否可以配置KafkaConnect的HDFS连接器以将多个单独的主题写入/合并到一个文件中?主题将包含具有相同avro架构的消息,我希望KafkaConnect充当这些Kafka主题和HDFS之间的中介。最坏的情况是主题内容在写入HDFS后可能会合并,但我觉得使用HDFS连接器应该可以实现更简洁、更快速的方法。 最佳答案 现在HDFS连接器会将每个主题写入其自己的目录。你可以在写完之后在HDFS中组合目录,或者在写到HDFS之前在Kafka中组合topic,但是connector本身是不会做的。

python - 使用 Thrift 在 Python 脚本中运行 Hive-Query 时出现 `Connection Refused`

全部,我正在尝试使用Python的Thrift库在Python脚本中运行配置单元查询。我能够运行不执行M/R的查询,例如createtable和select*fromtable等。但是当我执行执行M/R作业的查询时(如select*fromtablewhere...),我得到以下异常。startinghiveserver...Hivehistoryfile=/tmp/root/hive_job_log_root_201212171354_275968533.txtTotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksdete

RHive rhive.connect() 错误 Mkdirs 创建文件失败

我尝试在RStudio中连接到Hive:Sys.setenv(HADOOP_HOME='/opt/cloudera/parcels/CDH-5.0.2-1.cdh5.0.2.p0.13/lib/hadoop/')Sys.setenv(HIVE_HOME='/opt/cloudera/parcels/CDH-5.0.2-1.cdh5.0.2.p0.13/lib/hive/')rhive.init()rhive.connect()但是Connect()命令返回这个错误:Error:java.io.IOException:Mkdirsfailedtocreatefile:/rhive/lib

hadoop - java.net.ConnectException : Connection refused when trying to use hdfs 异常

我在尝试使用hadoophdfs命令时发现一个问题:root@ec2-35-205-125-85:~#hdfsdfs-copyFromLocal~/input/~/input/copyFromLocal:CallFromip-172-32-5-110.us-west-2.compute.internal/172.32.5.110tolocalhost:54310failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailssee:http://wiki.apache.org/h