草庐IT

master_table

全部标签

hadoop - Apache 麒麟 : Intermediate table not found

我是麒麟的新手。安装后,我运行sample.sh,然后构建立方体,但得到错误消息:java.io.IOException:NoSuchObjectException(message:default.kylin_intermediate_kylin_sales_cube_desc_19700101000000_20160101000000_38b1539f_1f69_406d_89ed_96f3ca776841tablenotfound)atorg.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput(HCatInputForma

hadoop - 如何在 S3 上指定 Hive EXTERNAL TABLE 数据的文件大小

我可以在Hive中创建一个EXTERNALTABLE,其中数据以Gzip格式存储在S3存储桶中。但是,这些文件非常大(每个超过6GB)。能否配置Hive使EXTERNALTABLE中的文件具有特定大小,比如512MB? 最佳答案 这对我来说听起来很奇怪,默认情况下,我的外部表通常有大约300MB的文件大小。无论如何,最简单的调整方法是使用PARTITIONBY键(可能是基于时间戳的东西),这将强制文件变小,并且具有使数据更容易的附加优势查询。此外,您应该考虑使用像Parquet这样的可拆分格式,因为这样文件大小就不再重要了。

hadoop - Hadoop集群如何访问master的50070端口?

我已经安装了基于CentOS7的Hadoop2.7.2,一主三从。问题是我只能通过访问主机上的localhost:50070来获取Hadoop集群的状态。而且访问master:50070或者192.168.199.139:50070都不起作用,192.168.199.139是master的IP地址。同时,slaves也无法访问192.168.199.139:50070。访问50070是否需要更多指定的配置?在master中运行ifconfig:eno16777736:flags=4163mtu1500inet192.168.199.139netmask255.255.255.0broa

hadoop - 配置单元 hadoop : selecting data from table getting error

我在Hive中创建了一个外部表后,我想知道推文的数量,所以我写了下面的查询,但是我得到了这个错误,请问如何解决这个问题,这是mapred-site.xml的配置mapred.job.trackerlocalhost:8021hive>selectcount(*)fromtweet;TotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadforareducer(inbytes):sethive.exec.reducers.

hadoop - 如何在 hive create table "TBLPROPERTIES"中引用 HBase 命名空间

我正在尝试使用HBase表('test_table)作为源创建Hive外部表。HBase表是在HBase命名空间“test_namespace”下创建的。在应用程序的其他部分,我使用以下语法访问表test_namespace:test_table或hbase://test_namespace:test_table按照同样的方法我创建了一个配置单元脚本CREATEEXTERNALTABLEIFNOTEXISTSTEST_INDIVIDUAL(keystring,teststring,photostring,locationstring)STOREDBY'org.apache.hadoop

sql - 如何正确格式化 "select top 1000 * from schema.table_name;"以在 Toad 4 Apache Hadoop 中工作?

尝试在Toad4ApacheHadoop(Hive)中运行它,它无法识别top函数。我该如何重新格式化?selecttop1000*fromFinance.ACCT_LIST 最佳答案 您可以使用LIMIT:select*fromFinance.ACCT_LISTorderbysomecolumnlimit1000如果你想得到一组一致的行,你应该添加一个orderby子句。 关于sql-如何正确格式化"selecttop1000*fromschema.table_name;"以在Toad

hadoop - Sqoop如何导入表table1, table2, table3?

一位雇主问如何在单数据库和多数据库中导入表1和表2、表3? 最佳答案 你可以试试:多个表:尝试使用“import-all-tables”和逗号分隔的“exclude-tables”选项:sqoopimport-all-tables--connectjdbc:mysql://localhost/sqoop--usernameroot--passwordhadoop--target-dir'/sqoop'--exclude-tablestable1,table2多表:在Sqoop1.99中有一个用于执行自定义SQL查询的选项-您可以检查

hadoop - SAP 沃拉 : Not able to add Vora table as Virtual table via Smart Data Access in HANA Studio

我正在使用带有HANAExpress2SP01的虚拟机。在一个小型测试集群上,我安装了HortonworksDataPlatform2.6和Spark1.6.3,还添加了HANAVora1.4和SparkController2.1。我遵循了SAPVora安装和管理指南:https://help.sap.com/http.svc/rc/f09ec811fe634f588647c342cac84c38/1.4/en-US/SAP_Vora_Installation_Admin_Guide_1.4_en.pdf直到第2.9章。一切正常,但Zeppelin部分与%jdbc解释器:%jdbcse

hadoop - Hadoop的master节点需要安装Mahout吗?

这是个愚蠢的问题,但总得有人问。我试过在本地运行Mahout,效果很好。现在,我希望工作由远程集群执行,而不是我的本地机器。那么,我应该在Hadoop机器上部署Mahout代码,还是我仍然可以使用Hadoop在我的本地机器接口(interface)上远程制作Mahout? 最佳答案 不,您不会自己在Hadoopworker上安装Hadoop程序。那将是一场噩梦。当您通过hadoopjar向它提供包含所有代码的JAR文件时,Hadoop会为您完成。当您运行Mahout或任何其他基于Hadoop的东西时,在您的本地计算机上运行的是一个客

hadoop - 无法启动master和slave,日志中出现名为 "bogon"的奇怪东西

我下载了一个新的预构建sparkforhadoop2.2文件。正在关注this文件,我想在我的单机上启动我的主人。解压文件后,我进入sbin和start-master,但我遇到了这个奇怪的问题,这是日志:SparkCommand:/Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/bin/java-cp:/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/target/scal