草庐IT

hadoop - Sqoop Teradata 连接器问题 - 错误 : The user does not have CREATE TABLE access to database

当我尝试从TeradataView导入表时,我遇到了Sqoop的Teradata连接器问题。我只能访问View。但不知何故,当sqoop作业开始时,它试图在我正在访问的TeradataDB中创建一个表,但无权在该DB/schema中创建任何表我低于错误13/05/3103:40:12ERRORtool.ImportTool:EncounteredIOExceptionrunningimportjob:com.teradata.hadoop.exception.TeradataHadoopSQLException:com.teradata.jdbc.jdbc_4.util.JDBCExc

user-interface - Hue 安装在 vanilla hadoop 上

有人试过在ApacheHadoop上安装HUE吗?我们正在使用hadoop0.20.2,我想知道在我投入时间之前是否有人成功使用它。任何指针将不胜感激。 最佳答案 看来不可能...http://getsatisfaction.com/cloudera/topics/issue_with_cloudera_plugin_loading_in_hadoop 关于user-interface-Hue安装在vanillahadoop上,我们在StackOverflow上找到一个类似的问题:

hadoop - hive-site.xml 中的 hive.cli.print.current.db 停止工作

我曾经在$HIVE_HOME/conf/hive-site.xml中将hive.cli.print.current.db设置为true,以便在配置单元提示符中自动显示数据库名称。此配置最近停止工作,因此每次启动配置单元时我都必须手动设置它的值。有没有人遇到过同样的问题,你的解决方案是什么?谢谢! 最佳答案 此属性应在配置单元配置目录(/etc/hive/conf)的.hiverc文件中指定(而不是在hive-site.xml中)。创建文件/.hiverc如果不存在以下内容sethive.cli.print.current.db=tr

shell - 错误 : Permission denied: '/user'

当我尝试将AWSS3存储桶复制到HDFS时出现错误:Permissiondenied:'/user'下面是我的脚本awss3syncs3://folder1.folder2/file.json/user/hive/warehouse/my.db/json_table请帮忙! 最佳答案 S3sync无法识别HDFS路径。要么使用,hadoopdistcp在配置所有与S3相关的properties之后.S3DistCp,这需要s3distcp.jar。如果文件很小,sync文件到localpath和copyFromLocal到HDFS。

database - sqoop 从 db2 特定模式导入所有到配置单元

我尝试使用以下命令行从DB2中的特定模式导入所有表。sqoopimport-all-tables--usernameuser--passwordpass\--connectjdbc:db2://myip:50000/databs:CurrentSchema=testdb\--drivercom.ibm.db2.jcc.DB2Driver--fields-terminated-by','\--lines-terminated-by'\n'--hive-databasedefault--hive-import--hive-overwrite\--create-hive-table-m1;遇

mysql - 配置单元 : why is metastore_db created in my project folder?

我把hive-site.xml在我的spark/confdir并将其配置为连接到thrift://:9083而且我没有使用derby我有mysql-connector-jar在hive/lib文件夹中,每次我创建hive表和存储数据时,所有数据都存储在metastore_db中在我的项目目录中,而不是在我的hdfs://:9000/user/hive/warehouse中,所以如果我删除metastore_db数据就会丢失。conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://saurab:3306/metastore

hadoop - Apache Drill - 不在 Hive DB 中列出表

我已经创建了必要的存储插件,并且在发出showdatabase命令时会显示hive中的相关数据库。当使用use命令使用其中一个配置单元数据库时,我发现我无法选择该数据库中的任何表。进一步看,当发出showtable命令时,该数据库中的任何表都不会通过ApacheDrill显示出来,而它们在Hive中看起来很好。在通过Hive向任何用户授予权限方面,我是否遗漏了什么?ApacheDrill究竟是如何连接到Hive以运行相关作业的?感谢您的回复。 最佳答案 Showtables;目前不会列出Hive表。最好在配置单元表之上创建View。

hadoop - 选择用于快速网络分析的 DB、OLAP 解决方案(大数据阵列)

我遇到以下问题:我的系统每天从不同站点收集约3亿次点击。每个都有时间、用户ID、类型(广告或常规)、http地址、站点ID。还有一组用户~200M,其中有性别、年龄段和国家。需要设计一个基于点击数据的系统,可以实时报告不同用户组的点击情况。像OLAP解决方案:-)例如,绘制2011年10月至9月英国15-25岁女孩的点击率图表。您建议选择哪个数据库,以及构建OLAP多维数据集的解决方案?我正在寻找开源解决方案,例如HBase(+zohmg或级联)Hypertable或其他(免费DWH:-))。 最佳答案 这是海量数据,每天300Mi

java - 错误 : org. apache.hadoop.security.AccessControlException : Permission denied: user=root, access=READ_EXECUTE,

我在CentOS6机器上使用的是hadoop-1.2.1版本,并且已经配置好,它运行成功,我还在Eclipsekepler中安装了hadoop的插件,但不幸的是我得到了一个权限被拒绝的错误,我有如图所示,我试图通过阅读许多博客来解决这个问题,但我仍然被困在那里..有人可以解决这个问题吗? 最佳答案 我从您的问题中了解到,我想您正在使用操作系统的“root”登录以启动Hadoop。我建议重新启动您的系统并从“Hadoop”(在用户列表中给出,例如root、Guest、Hadoop)登录,然后启动Hadoop。然后它就会工作。

oracle - 如何将日期/时间戳字符串写入 Oracle DB 中的日期时间戳列?

我已经使用AVRO文件格式和Hive外部表将一些Oracle表存储在Hadoop中以访问数据。我在导入时使用Oracle的TO_CHAR函数将日期和时间戳值存储为格式化字符串。现在我想使用Spark将这些确切数据导出回具有日期列的Oracle表。我使用命令://CreateadataframefromtheHivetablevaldata=sqlContext.sql("select*fromavro_table")//exportdftoexistingoracletabledata.write.mode("overwrite").jdbc(jdbcString,"tableName