草庐IT

Example-Connection

全部标签

python - 如何配置 hive.Connection() 以将我想要的设置传递给 Hive?

我在Ubuntu17.10上运行Spyder3.2.8。我想传递远程集群上的Hive,以使用sethive.cli.print.header=true;命令为列名称命名。这是我到目前为止所做的:con=hive.Connection(host="name",port=someport,username="usr",configuration='hive.cli.print.header=True')设置配置的正确方法是什么,我什至找不到一个有效的例子。 最佳答案 你可以试试这样的东西conn=hive.Connection(host

hadoop - 运行hadoop example,遇到 ".staging/job_1541144755485_0002/job.splitmetainfo does not exist",怎么办?

我的配置如下:Hadoop实验我用了两台机器,分别是pc720(10.10.1.1)和pc719(10.10.1.2)。jdk(版本1.8.0_181)由apt-get安装。Hadoop2.7.1下载自https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/,并放入/opt/第一步:我配置了/etc/bash.bashrc,添加了exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exportPATH=${JAVA_HOME}/bin:${PATH}exportHADOOP_HO

hadoop - hadoop mapreduce example 有时可以工作,有时会失败,这是怎么回事?

我通过命令运行了一个hadoopmapreduce示例hadoopjarhadoop-mapreduce-examples-2.7.1.jarwordcountinputoutput有时它起作用了:18/11/0600:37:06INFOclient.RMProxy:ConnectingtoResourceManageratnode-0/10.10.1.1:803218/11/0600:37:06INFOinput.FileInputFormat:Totalinputpathstoprocess:118/11/0600:37:06INFOmapreduce.JobSubmitter:n

Hadoop 错误 -"connection refused"?

我在Hadoop集群中遇到以下错误。我跑了一份工作,它很长,无法完成。然后每当我尝试访问Hdfs时,我都会得到:“从li417-43.members.linode.com/174.79.191.40调用li417-43.members.linode.com:8020连接异常失败:java.net.ConnectException:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused"有什么办法可以解决这个问题!谢谢 最佳答案 来自评论:没有java进程在运行

scala - 无法导入带有 Scala 类 Connection* 的 HBase

我正在尝试从Hbase文档编译和运行scala示例http://hbase.apache.org/1.2/book.html#scala但我收到无法导入Connection和ConnectionFactory类的编译错误。我已经尝试了两个scala版本2.10.6和2.11.11,但在这两种情况下都失败了。简单的Scala代码:importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Connectionimportorg.apache.hadoop.hbase.client

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,

我正在使用hadoopteragen检查hadoopmapreduce与terasort的基准测试。但是当我运行以下命令时,hadoopjar/Users/**/Documents/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jarteragen-Dmapreduce.job.maps=1001trandom-data我得到以下异常,17/06/0115:09:21WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourp

hadoop - --options-file 与 --connection-param-file 有何不同

Sqoop文档将--options-file的示例显示为:##OptionsfileforSqoopimport##Specifiesthetoolbeinginvokedimport#Connectparameterandvalue--connectjdbc:mysql://localhost/db#Usernameparameterandvalue--usernamefoo##Remainingoptionsshouldbespecifiedinthecommandline.#按照上面的说法,如果它只是连接信息,并且按照注释,所有剩余的选项都应该在命令行中指定,为什么它在--opt

java - 8021 连接异常失败 : java.net.ConnectException : Connection refused at org. apache.hadoop.ipc.Client.wrapException(Client.java:1095)

您好,我正在尝试配置Hadoop1.0。通过关注此博客以伪分布式模式。http://hadoop-tutorial.blogspot.de/2010/11/running-hadoop-in-pseudo-distributed.html?showComment=1337083501000#c615470573579885293.但是当我运行hadoop发行版中给出的pi示例时,我得到了标题中提到的错误。有人可以帮助我并指导我如何解决这个问题。另外,如果可能的话,请在确定问题的同时提出解决方案。这是我通过运行jps得到的结果8322Jps7611SecondaryNameNode747

python - 使用 Thrift 在 Python 脚本中运行 Hive-Query 时出现 `Connection Refused`

全部,我正在尝试使用Python的Thrift库在Python脚本中运行配置单元查询。我能够运行不执行M/R的查询,例如createtable和select*fromtable等。但是当我执行执行M/R作业的查询时(如select*fromtablewhere...),我得到以下异常。startinghiveserver...Hivehistoryfile=/tmp/root/hive_job_log_root_201212171354_275968533.txtTotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksdete

Hadoop on CentOS streaming example with python - permission denied on/mapred/local/taskTracker

我已经能够使用python映射器和缩减器设置流式示例。mapred文件夹位置是/mapred/local/taskTrackerroot和mapred用户都拥有此文件夹和子文件夹的所有权然而,当我运行我的流式传输时,它会创建map但不会减少并给出以下错误无法运行程序/mapred/local/taskTracker/root/jobcache/job_201303071607_0035/attempt_201303071607_0035_m_000001_3/work/./mapper1.py权限被拒绝我注意到,虽然它为mapred/local/taskTracker及其所有子目录提供