草庐IT

hive-overwrite

全部标签

hadoop - Hive 支持过滤 Unicode 数据

我有一个包含Unicode数据的Hive表。当尝试执行一个简单的查询“SELECT*FROMtable”时,我以正确的Unicode编码返回了正确的数据。但是,当我尝试添加诸如“...WHEREcolumn='someunicodevalue'”之类的过滤条件时,我的查询没有返回任何结果。是Hive的限制吗?或者有没有办法使Unicode过滤与Hive一起工作?谢谢! 最佳答案 你应该使用utf-8格式并将数据加载到hive表中,然后你可以使用你之前编写的内容获取数据,例如...名称如“%你好%”

hadoop - 登录 Hive,log4j 文件

我正在尝试通过命令窗口访问Hive。我只是在适当的目录中运行“Hive”,但出现错误“登录被拒绝”。我读过log4j用于登录,但我不知道我是否必须创建一个帐户并在那里写入我的用户数据。非常感谢 最佳答案 Hive服务现在应该可以正常工作了。从您自己的FI-LAB虚拟机,您只需使用您的Cosmos凭据登录到头节点(如果您没有Cosmos凭据,请通过注册here获取):[root@your_filab_vm]$sshcosmos.lab.fi-ware.org登录到头节点后,键入以下命令:[your_cosmos_username@co

hadoop - Hive静态分区问题

我有一个csv文件,其中有600条记录,男性和女性各300条。我创建了一个Table_Temp并将所有这些记录填充到该表中。然后,我创建Table_Main并将gender作为分区列。对于Temp_Table查询是:CreatetableifnotexistsTemp_Table(idstring,ageint,genderstring,citystring,pinstring)rowformatdelimitedfieldsterminatedby',';然后我编写以下查询:InsertintoTable_Mainpartitioned(gender)selecta,b,c,d,ge

hadoop - Hive 不尊重 mapreduce.job.reduces

以下形式的配置单元插入语句:insertintomy_tableselect*frommy_other_table;正在使用一个reducer-即使在执行以下操作之前:setmapreduce.job.reduces=80;有没有办法强制配置单元使用更多的reducer?没有明确的理由说明为什么这个特定的查询会执行单个reducer-假设末尾没有ORDERBY子句。顺便说一句,源表和目标表都是storedasparquet 最佳答案 SELECT*FROMtable;在Hive中不使用任何reducer-它是一个map-only作业

r - 将 Hive 表从 HDFS 移动到 Amazon Redshift

我尝试将通过连接4-5个数据集创建的Hive表传输到Redshift。这个过程应该如何实现?我们在边缘节点上有可用的R。Hive表必须先传输到S3,然后从s3传输到Redshift。这是唯一的方法吗?是否可以使用R,即使用RHive包将我的数据集从HDFS移动到R,然后将该数据集从R移动到Redshift? 最佳答案 您可以使用RJDBC连接到Redshift(Redshift是pgsql)。因此,您可以使用从配置单元读取一行,并使用R中的RJDBC将其加载到Redshift。您创建1000个或更多的批处理并插入Redshift。如

mongodb - 无法在 HDP 的 Hive 查询中使用 mongo-hadoop 连接器

我是hadoop的新手。我已经安装了hortonworks沙箱2.1。我正在尝试使用HiveUI执行Hive脚本。我想访问Hive中的mongo集合。我为此使用了以下查询:CREATETABLEindividuals(idINT,nameSTRING,ageINT,citySTRING,hobbySTRING)STOREDBY'com.mongodb.hadoop.hive.MongoStorageHandler'WITHSERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')TBLPROPERTIES('mongo.uri'='m

8-Hive原理与技术

单选题题目1:按粒度大小的顺序,Hive数据被分为:数据库、数据表、桶和什么选项:A  元祖B  栏C  分区D  行答案:C------------------------------题目2:以下选项中,哪种类型间的转换是被Hive查询语言所支持的选项:A  Double—NumberB  BigInt—DoubleC  Int—BigIntD  String--Double答案:D------------------------------题目3:Hive最重视的性能是可测量性、延展性、对于输入格式的宽松匹配性和什么性能选项:A  较低恢复性B  容错性C  快速查询D  可处理大量数据答

hadoop - Hive 查询性能调优

我是hadoop和hive的新手。您能否建议在cloudera5.2.1上运行的ApacheHive是否有任何性能调整步骤。为了提高Hive查询性能,调整参数是什么配置单元版本:-配置单元0.13.1-cdh5.2.1hive查询:-选择不同的a1.chain_numberchain_number,a1.chain_description链条描述来自staff.organization_hierarchya1;Hive表创建为外部表,选项为“STOREDASTEXTFORMAT”,表属性如下:-更改以下配置单元设置后,我们看到了10秒的改进设置hive.exec.parallel=tr

hadoop - Hive 更新效率(版本 0.14)

Hive如何高效处理未分区列的更新?假设我想为特定的transactionid(未分区)更新一行,Hive将如何在内部处理它。据我了解,Hive将首先搜索它(这很慢),然后更新存储包含此transactionid的特定行的特定分区(如果有的话)。尽管这将为用户提供更新数据的抽象,但执行大量更新真的有效吗? 最佳答案 行级更新在hadoop中可能效率不高,因为hadoop是为大数据处理而设计的。但是,从Hive版本0.14开始支持对支持ACID的Hive表进行行级更新。查看Hive教程以获取有关如何实现行级别更新的更多详细信息。htt

hadoop - Apache Hive 中的字符集、口音、特殊字符

问题我的Hive表在某些行值中包含特殊字符(法语)时遇到了很多问题。基本上,在查询数据(通过HiveCLI或其他方法)时,所有特殊字符(如字母或其他变音符号上的重音)都会变成纯粹的乱码(各种奇怪的符号)。问题不在于列名,而在于实际的行值和内容。例如,我没有打印“Variat°”或任何其他特殊字符或重音符号,而是得到了这个结果(使用select语句时):Variat�cancel信息与sessionHive表是外部的,来自HDFS中以字符集iso-8859-1编码的CSV文件。更改原始文件编码字符集不会产生更好的结果。我在RedHatEnterprise6上使用Hortonworks