草庐IT

db-first

全部标签

hadoop - Apache Drill - 不在 Hive DB 中列出表

我已经创建了必要的存储插件,并且在发出showdatabase命令时会显示hive中的相关数据库。当使用use命令使用其中一个配置单元数据库时,我发现我无法选择该数据库中的任何表。进一步看,当发出showtable命令时,该数据库中的任何表都不会通过ApacheDrill显示出来,而它们在Hive中看起来很好。在通过Hive向任何用户授予权限方面,我是否遗漏了什么?ApacheDrill究竟是如何连接到Hive以运行相关作业的?感谢您的回复。 最佳答案 Showtables;目前不会列出Hive表。最好在配置单元表之上创建View。

hadoop - 选择用于快速网络分析的 DB、OLAP 解决方案(大数据阵列)

我遇到以下问题:我的系统每天从不同站点收集约3亿次点击。每个都有时间、用户ID、类型(广告或常规)、http地址、站点ID。还有一组用户~200M,其中有性别、年龄段和国家。需要设计一个基于点击数据的系统,可以实时报告不同用户组的点击情况。像OLAP解决方案:-)例如,绘制2011年10月至9月英国15-25岁女孩的点击率图表。您建议选择哪个数据库,以及构建OLAP多维数据集的解决方案?我正在寻找开源解决方案,例如HBase(+zohmg或级联)Hypertable或其他(免费DWH:-))。 最佳答案 这是海量数据,每天300Mi

oracle - 如何将日期/时间戳字符串写入 Oracle DB 中的日期时间戳列?

我已经使用AVRO文件格式和Hive外部表将一些Oracle表存储在Hadoop中以访问数据。我在导入时使用Oracle的TO_CHAR函数将日期和时间戳值存储为格式化字符串。现在我想使用Spark将这些确切数据导出回具有日期列的Oracle表。我使用命令://CreateadataframefromtheHivetablevaldata=sqlContext.sql("select*fromavro_table")//exportdftoexistingoracletabledata.write.mode("overwrite").jdbc(jdbcString,"tableName

hadoop - 如何使用 Hbase rest API 将数据从 IBM db2 导入到 Hbase

实际上我们的需求是使用HbaserestAPI将数据从IBMdb2导入到hbase。任何人都可以向我提供详细信息或步骤。提前致谢。 最佳答案 你可以试试sqoop-hbaseimport 关于hadoop-如何使用HbaserestAPI将数据从IBMdb2导入到Hbase,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/57292350/

python - hbase 动物园管理员 : Which one come first on AWS environement?

我在我的AWS免费套餐上设置了一个Hadoop环境。它是运行hadoop2.7.1-Ubuntu14.04(不是EMR)的1master-3slaves。现在我想进入下一步,看起来HBase是一个很好的起点。进一步阅读后,我注意到Zookeeper正在出现......问题:设置好hadoop后,是先安装配置HBase多节点还是Zookeeper再安装HBase(sqoop、flume、pig...应该按照这一步完成)?奖励:我的目的是像可视化软件一样连接R、Tableau并运行一些python程序来与AWS一起玩,所以欢迎提出建议 最佳答案

postgresql - 从 10 亿行 GreenPlum DB 中缓慢选择

我在GreenPlum上创建了下表:CREATETABLEdata."CDR"(mcctext,mnctext,lactext,celltext,from_numbertext,to_numbertext,cdr_timetimestampwithouttimezone)WITH(OIDS=FALSE,appendonly=true,orientation=column,compresstype=quicklz,compresslevel=1)DISTRIBUTEDBY(from_number);我已将10亿行加载到此表,但每个查询都非常慢。我需要对所有字段(不仅是一个)进行查询,我可

hadoop - PIG 拉丁语 : While loading how to discard the first line in any file?

我从一段时间以来一直在使用PIG,想知道如何在加载文件时不考虑第一行。我有一个包含标题的文件。所以我应该忽略第一行并转到下一行对日期列和所有列进行处理。如何解决这个问题?谢谢 最佳答案 如果你有pig版本0.11,你可以试试这个:input_file=load'input'USINGPigStorage(',')as(row1:chararay,row2:chararray);ranked=rankinput_file;NoHeader=Filterrankedby(rank_input_file>1);New_input_file

java - Metastore db hive - 另一个实例已经在运行

我试图在linux服务器上运行hive,但我不断收到以下错误:Causedby:ERRORXSDB6:AnotherinstanceofDerbymayhavealreadybootedthedatabase/home/usr/metastore_db怎么了?我尝试这样做:psaux|grepspark-shellpsaux|grepmetastorepsaux|grepderby但没有显示任何进程。可能是什么原因? 最佳答案 我发现这种情况正在发生,因为有多个其他Spark-Shell实例已经在运行并且已经持有derbyDB,所以

python - 用于 Python 3.x 的 MySQL-db 库?

那么,寻找一个与py3k/py3.0/py3000兼容的mysql-db-lib,有什么想法吗?谷歌一无所获。 最佳答案 看来MySQLdb几乎是一个死项目。但是,PyMySQL是一个符合dbapi的、纯python的mysql客户端实现,它支持python3。编辑:还有MySQLConnector/Python.同样的想法。 关于python-用于Python3.x的MySQL-db库?,我们在StackOverflow上找到一个类似的问题: https:/

python - 用于 Python 3.x 的 MySQL-db 库?

那么,寻找一个与py3k/py3.0/py3000兼容的mysql-db-lib,有什么想法吗?谷歌一无所获。 最佳答案 看来MySQLdb几乎是一个死项目。但是,PyMySQL是一个符合dbapi的、纯python的mysql客户端实现,它支持python3。编辑:还有MySQLConnector/Python.同样的想法。 关于python-用于Python3.x的MySQL-db库?,我们在StackOverflow上找到一个类似的问题: https:/