草庐IT

db-sample-schemas

全部标签

sql - 如何正确格式化 "select top 1000 * from schema.table_name;"以在 Toad 4 Apache Hadoop 中工作?

尝试在Toad4ApacheHadoop(Hive)中运行它,它无法识别top函数。我该如何重新格式化?selecttop1000*fromFinance.ACCT_LIST 最佳答案 您可以使用LIMIT:select*fromFinance.ACCT_LISTorderbysomecolumnlimit1000如果你想得到一组一致的行,你应该添加一个orderby子句。 关于sql-如何正确格式化"selecttop1000*fromschema.table_name;"以在Toad

hadoop - Apache Drill 无法从 HDFS 读取文件(资源错误 : Failed to create schema tree)

在我们的HDFS集群的一个边缘节点上设置drill后,我无法读取任何hdfs文件。我可以从本地文件查询数据(只要它们位于具有777权限的文件夹中)但是从hdfs查询数据失败并出现以下错误:Error:RESOURCEERROR:Failedtocreateschematree.[ErrorId:d9f7908c-6c3b-49c0-a11e-71c004d27f46onserver-name:31010](state=,code=0)查询:0:jdbc:drill:zk=local>select*fromhdfs.`/names/city.parquet`limit2;从本地文件查询工

hadoop - 通过 SQOOP 连接到 DB2 时出现连接管理器错误

下面是从DB2::列出数据库的sqoop命令sqooplist-databases--connect'jdbc:db2://DB_IP:PORT/'--usernamexxx--passwordxxx--drivercom.ibm.db2.jcc.DB2Driver但我得到以下错误::WARNsqoop.ConnFactory:Parameter--driverissettoanexplicitdriverhoweverappropriateconnectionmanagerisnotbeingset(via--connection-manager).Sqoopisgoingtofal

hadoop - pig 帮 : How can I add a fixed field that is not defined in the schema

如何添加架构中未定义的固定字段(例如日期或月份)?我运行了以下pig脚本以将固定日期添加到我的结果表中,并收到以下错误消息:Invalidfieldprojection。方案中不存在投影字段[日期]。joined_table=joinAby(key1),Bby(key1);result=foreachjoined_tablegenerate20140625asdate,A::value1asv1,B::value1asv2; 最佳答案 这是你可能想要的:result=FOREACHjoined_tableGENERATE'20140

hadoop - hive-site.xml 中的 hive.cli.print.current.db 停止工作

我曾经在$HIVE_HOME/conf/hive-site.xml中将hive.cli.print.current.db设置为true,以便在配置单元提示符中自动显示数据库名称。此配置最近停止工作,因此每次启动配置单元时我都必须手动设置它的值。有没有人遇到过同样的问题,你的解决方案是什么?谢谢! 最佳答案 此属性应在配置单元配置目录(/etc/hive/conf)的.hiverc文件中指定(而不是在hive-site.xml中)。创建文件/.hiverc如果不存在以下内容sethive.cli.print.current.db=tr

java - Avro Schema Evolution With GenericData.Record - Mapreduce 过程

我有一个mapreduce程序,它从avro数据中读取数据,对其进行处理并输出avro数据。我有这个avro数据的模式,假设有4列。我使用GenericData.Record来写入avro数据。现在,我使用具有5列的模式在此数据之上创建一个pig关系。第5列是新的,具有avsc文件中定义的默认值。根据我的理解,我应该能够使用带有一列的新模式读取旧数据(由4列生成)。相反,我收到一条错误消息-Tryingtoaccessnon-existcolumn.我错过了什么?Mapreduce驱动程序代码Jobjob=Job.getInstance(getConf());job.setJarByC

hadoop - Cloudera 上的 Kylin Sample Cube 无法正常工作

我只是想弄清楚我的SampleCube出了什么问题,但我不知道如何找到解决方案。首先,我使用的是Cloudera,cdh5.8.0,Hadoop2.6.0。我有Hive、HBase等等。我必须从Kylin的站点下载cdh的二进制文件,并且...遇到的问题和解决的问题:1)我必须设置一个变量KYLIN_HOME,因为bin/check-env.sh和bin/kylin.shstart都不能正常工作。我只是将其设置为:$echo"exportKYLIN_HOME=/home/cloudera/Kylin_Folder/apache_kylin">>~/.bashrc$source~/.ba

database - sqoop 从 db2 特定模式导入所有到配置单元

我尝试使用以下命令行从DB2中的特定模式导入所有表。sqoopimport-all-tables--usernameuser--passwordpass\--connectjdbc:db2://myip:50000/databs:CurrentSchema=testdb\--drivercom.ibm.db2.jcc.DB2Driver--fields-terminated-by','\--lines-terminated-by'\n'--hive-databasedefault--hive-import--hive-overwrite\--create-hive-table-m1;遇

mysql - 配置单元 : why is metastore_db created in my project folder?

我把hive-site.xml在我的spark/confdir并将其配置为连接到thrift://:9083而且我没有使用derby我有mysql-connector-jar在hive/lib文件夹中,每次我创建hive表和存储数据时,所有数据都存储在metastore_db中在我的项目目录中,而不是在我的hdfs://:9000/user/hive/warehouse中,所以如果我删除metastore_db数据就会丢失。conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://saurab:3306/metastore

hadoop - Apache Drill - 不在 Hive DB 中列出表

我已经创建了必要的存储插件,并且在发出showdatabase命令时会显示hive中的相关数据库。当使用use命令使用其中一个配置单元数据库时,我发现我无法选择该数据库中的任何表。进一步看,当发出showtable命令时,该数据库中的任何表都不会通过ApacheDrill显示出来,而它们在Hive中看起来很好。在通过Hive向任何用户授予权限方面,我是否遗漏了什么?ApacheDrill究竟是如何连接到Hive以运行相关作业的?感谢您的回复。 最佳答案 Showtables;目前不会列出Hive表。最好在配置单元表之上创建View。