草庐IT

jdbc_driver_library

全部标签

jdbc - 从 Java 访问 Hive 数据

我需要从Java访问Hive中的数据。根据HiveJDBCDriver的文档,目前的JDBC驱动只能用来查询Hive默认数据库的数据。有没有办法通过Java从默认数据库以外的Hive数据库访问数据? 最佳答案 例如,你有一个hive表:createtablevisit(idint,urlstring,refstring)partitionedby(datestring)然后就可以使用语句了INSERTOVERWRITEDIRECTORY'/tmp/hdfs_out'SELECT*FROMvisitWHEREdate='2013-05

java - 使用 Eclipse 和 CHD4 的 JDBC 连接到 Hive 时出错

我正在尝试建立与Hive的JDBC连接,以便我可以从Eclipse查看和创建表以及查询Hive表。我使用了HiveClient示例代码:https://cwiki.apache.org/confluence/display/Hive/HiveClientimportjava.sql.SQLException;importjava.sql.Connection;importjava.sql.ResultSet;importjava.sql.Statement;importjava.sql.DriverManager;publicclassHiveJdbcClient{privatesta

java - 如何为 Hive JDBC 编写 Junit 测试用例

如何为Hivejdbc编写JUnit测试用例。在配置单元中,我不认为我们可以在内存数据库中使用相同的代码。如果没有内存数据库测试用例,测试用例可能会失败。我可以使用嵌入式Hive来执行此操作吗?谢谢 最佳答案 您可以使用测试配置单元代码https://github.com/edwardcapriolo/hive_test或https://github.com/klarna/HiveRunner我但我不确定是否有jdbc支持,但您确实需要测试jdbc调用,您可以模拟数据库。 关于java-

java - 如何使用 JDBC 驱动程序 0.13.0 在 Hive 中设置 FetchSize

我正在针对返回100.000行的Hive/Hadoop运行查询,并且我想启用setFetchSize,一次没有那么多行,为此我正在使用HiveJDBC驱动程序。关键是相同的查询也针对postgres运行,或者实际上可能在其他关系数据库中运行,因此使用此大小功能来控制它是有意义的。问题是,当我调用方法setFetchSize时,我不断收到以下内容java.sql.SQLException:方法不受支持在org.apache.hadoop.hive.jdbc.HivePreparedStatement.setFetchSize(HivePreparedStatement.java:1229

hadoop - HIVE HA 通过 zookeeper (JDBC)

非常感谢您的帮助,谢谢!我通过zookeeper使用HiveHA,这是我的hive-site.xml(HA部分):hive.server2.support.dynamic.service.discoverytruehive.server2.zookeeper.namespacehiveserver2hive.zookeeper.quorumhadoopcluster01:2181,hadoopcluster02:2181hive.zookeeper.client.port2181当我使用直线时:!connectjdbc:hive2://hadoopcluster01:2181,hado

java - 使用 JDBC 将 R 连接到 Hive

我正在尝试使用RJDBC包将R连接到Hive集群。我写的代码是:drv我也已将“C:/hive-jdbc”添加到我的系统路径变量中。但是我收到以下错误:Errorinpath.expand(unlist(strsplit(classPath,.Platform$path.sep))):invalid'path'argument有人可以帮我解决这个问题吗? 最佳答案 在classPath=list.files("C:/hive-jdbc/hive-jdbc-0.10.0.jar",pattern="jar$",full.names=T

java - Hadoop 2.6.x 和 Amazon AWS SDK Library 冲突 http-core 冲突

我的工作是将每条记录写入Hadoop映射中的DynamoDB。我无法使用具有httpclient-4.2.5.jar和httpcore-4.2.5.jar的Hadoop2.6运行它。我使用的AWS是使用httpclient-4.5.2.jar和httpcore-4.4.4.jar构建的。当我使用类路径来包含新的jar文件时,出现以下异常。java.lang.Exception:java.lang.NoSuchFieldError:INSTANCEatorg.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.j

mysql - SQOOP:com.mysql.jdbc.exceptions.MySQLSyntaxErrorException:未知数据库

我正在研究多节点设置(7个节点)上的SQOOP。客户名称节点二级名称节点工作追踪器数据节点1数据节点2数据节点3在ClientNode上我安装了hadoop,sqoop。在其他节点上仅安装了Hadoop。我正在使用mySQL。我已经创建了数据库GAME_OF_THRONES。我创建了表kings_battles如下:createtablekings_battles(nameVARCHAR(50)NOTNULL,yearINTNOTNULL,battle_numberINTNOTNULL,attacker_kingVARCHAR(50),defender_kingVARCHAR(50),

maven - 错误:无法找到或加载主类org.apache.mahout.driver.MahoutDriver

我试图运行以下语句:代码:/usr/local/lib/mahout/bin$mahoutseqwiki-i/user/wiki/enwiki-articles.xml-o/user/wiki/kmeansseqfiles错误:MAHOUT_LOCALisset,sowedon'taddHADOOP_CONF_DIRtoclasspath.MAHOUT_LOCALisset,runninglocallyError:Couldnotfindorloadmainclassorg.apache.mahout.driver.MahoutDriver我遵循了这个stackoverflowpage

hadoop - 为什么 ./bin/spark-shell 给出 WARN NativeCodeLoader : Unable to load native-hadoop library for your platform?

在MacOSX上,我使用以下命令从源代码编译了Spark:jacek:~/oss/spark$SPARK_HADOOP_VERSION=2.4.0SPARK_YARN=trueSPARK_HIVE=trueSPARK_GANGLIA_LGPL=truexsbt...[info]Setcurrentprojecttoroot(inbuildfile:/Users/jacek/oss/spark/)>;clean;assembly...[info]Packaging/Users/jacek/oss/spark/examples/target/scala-2.10/spark-example