草庐IT

big_table

全部标签

hadoop - Oozie 和 Hive : FAILED: SemanticException Unable to fetch table <table_name>

我今天刚启动Oozie,我注意到在运行Hive操作时出现不一致的错误。当我运行完全相同的Oozie工作流时,有时它会成功,而有时它会因Hive操作的此错误而失败:FAILED:SemanticExceptionUnabletofetchtable1)这是什么原因?2)解决方法是什么?目前我只是再次运行Oozie作业直到成功,有时需要多次尝试。我正在使用ClouderaCDH4、MRv1。我是手动安装的,而不是使用ClouderaManager。我有一个三节点集群。Master节点包含NameNode、SecondaryNameNode、JobTracker、HMaster;此外,Mas

hadoop - Hive View 查询性能 : Union tables with different schemas

我有一个场景,我有两个Hive表,第二个表本质上是第一个表的演变模式(在此示例中它还有1个列)。Table_A{business_dateStringNameStringAgeNumber}partitionedbybusiness_dateTable_B{business_dateStringNameStringAgeNumberAddressString}partitionedbybusiness_date为了混淆下游用户对架构更改的影响,我使用以下语法创建一个HiveView:CreateVIEWcustomer_infoASselect*fromTable_BUNIONsele

mysql - mysql中的简单 'create table from view'语法?

我想创建一个缓存View结果的表。有没有一种简单的方法可以从View的定义中自动定义表格,还是我必须从showcreatetableview将它拼凑在一起? 最佳答案 您可以从View中执行CREATETABLESELECT来构建它。这应该将View的结构复制为一个包含所有View行的新表。这是MySQLsyntaxreference对于这个声明。CREATETABLEtbl_from_viewASSELECTcol1,col2,col3,col4,col5FROMyour_view;请注意,您将希望在列选择中非常明确。从源代码Vi

mysql - mysql中的简单 'create table from view'语法?

我想创建一个缓存View结果的表。有没有一种简单的方法可以从View的定义中自动定义表格,还是我必须从showcreatetableview将它拼凑在一起? 最佳答案 您可以从View中执行CREATETABLESELECT来构建它。这应该将View的结构复制为一个包含所有View行的新表。这是MySQLsyntaxreference对于这个声明。CREATETABLEtbl_from_viewASSELECTcol1,col2,col3,col4,col5FROMyour_view;请注意,您将希望在列选择中非常明确。从源代码Vi

hadoop - CREATE TABLE 命令在 Hive 查询语言中不起作用

当我尝试在配置单元中创建表时收到以下错误消息。知道为什么会这样吗?hive>createtablea(xint);FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:FordirectMetaStoreDBconnections,wedon'tsupportretriesattheclientlevel.)日志如下:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Duplica

hadoop - 在 Cloudera VM 中将数据从 HDFS 加载到 Hive Table

当使用ClouderaVM时,您如何访问HDFS中的信息?我知道没有到HDFS的直接路径,但我也不知道如何动态访问它。通过HiveCLI创建Hive表后,我尝试从位于HDFS中的文件加载一些数据:loaddatainpath'/test/student.txt'intotablestudent;但是我得到了这个错误:FAILED:SemanticExceptionLine1:17Invalidpath''/test/student.txt'':Nofilesmatchingpathhdfs://quickstart.cloudera:8020/test/student.txt我还尝试将

mysql - 什么更好 - 多张小 table 还是一张大 table ?

我有一个数据库,可以存储有关个人的个人资料。这些人有大约50个可能的领域。有些是常见的东西,如名字、姓氏、电子邮件、电话号码。其他是爱好、技能、兴趣等有些是高度、体重、肤色。系统在不同时间使用这些组中的每一个。就能够通过数据库进行协商而言,我更喜欢有7个表,每个表大约有8个字段。什么是最佳实践?编辑:数据将用于搜索引擎,用于查找配置文件匹配项。这会影响我正在做的事情吗? 最佳答案 这很难说,并基于应用程序的需求。我会说调查DatabaseNormalization因为它将向您展示如何规范化数据库,并且它应该阐明您希望将哪些内容分离到

mysql - 什么更好 - 多张小 table 还是一张大 table ?

我有一个数据库,可以存储有关个人的个人资料。这些人有大约50个可能的领域。有些是常见的东西,如名字、姓氏、电子邮件、电话号码。其他是爱好、技能、兴趣等有些是高度、体重、肤色。系统在不同时间使用这些组中的每一个。就能够通过数据库进行协商而言,我更喜欢有7个表,每个表大约有8个字段。什么是最佳实践?编辑:数据将用于搜索引擎,用于查找配置文件匹配项。这会影响我正在做的事情吗? 最佳答案 这很难说,并基于应用程序的需求。我会说调查DatabaseNormalization因为它将向您展示如何规范化数据库,并且它应该阐明您希望将哪些内容分离到

hadoop - 亚马逊 EMR 和 Hive : Getting a "java.io.IOException: Not a file" exception when loading subdirectories to an external table

我正在使用AmazonEMR。我在s3中有一些日志数据,都在同一个桶中,但在不同的子目录下喜欢:"s3://bucketname/2014/08/01/abc/file1.bz""s3://bucketname/2014/08/01/abc/file2.bz""s3://bucketname/2014/08/01/xyz/file1.bz""s3://bucketname/2014/08/01/xyz/file3.bz"我正在使用:Sethive.mapred.supports.subdirectories=true;Setmapred.input.dir.recursive=true

java - Spring Boot JPA 使用 Hibernate 在 TABLE 中插入大写名称

我有一个表实体映射为:@EntitypublicclassItemsToRegisterimplementsSerializable{@Id@Column(name="ID_ITEM_TO_REGISTER")@GeneratedValue(strategy=GenerationType.AUTO)privateintid;.....当我尝试在数据库中插入新记录时,表名被翻译成小写为:items_to_register,但我的表名是ITEMS_TO_REGISTER如何在不更改MySql配置的情况下解决我的问题?(my.cnf)我的application.properties文件中有: