草庐IT

test_hive

全部标签

java - Spring Test 为不安全的 URL 返回 401

我正在使用Spring进行MVC测试这是我的测试课@RunWith(SpringRunner.class)@WebMvcTestpublicclassITIndexController{@AutowiredWebApplicationContextcontext;MockMvcmockMvc;@MockBeanUserRegistrationApplicationServiceuserRegistrationApplicationService;@BeforepublicvoidsetUp(){this.mockMvc=MockMvcBuilders.webAppContextSetu

java - Spring Test 为不安全的 URL 返回 401

我正在使用Spring进行MVC测试这是我的测试课@RunWith(SpringRunner.class)@WebMvcTestpublicclassITIndexController{@AutowiredWebApplicationContextcontext;MockMvcmockMvc;@MockBeanUserRegistrationApplicationServiceuserRegistrationApplicationService;@BeforepublicvoidsetUp(){this.mockMvc=MockMvcBuilders.webAppContextSetu

iPhone 自动化 : Setting order of tests in OCUnit or FoneMonkey

我正在使用FoneMonkey用于自动化,它利用OCUnit(SenTestingKit)以编程方式编写测试用例。有谁知道是否有办法定义测试脚本的运行顺序?在每个脚本中,是否有一种方法可以确定何时运行测试用例? 最佳答案 它应该按测试套件的字母顺序排列,然后在每个套件中,按字母顺序排列测试用例。 关于iPhone自动化:SettingorderoftestsinOCUnitorFoneMonkey,我们在StackOverflow上找到一个类似的问题: htt

hadoop - Hive 中的源命令

我在Hive中使用source命令来运行包含大量HiveUDFS(纯SQL,如日期转换)的外部文件。外部文件对于许多脚本是通用的;因此,更容易在单个脚本之外进行维护。所以,如果我有source/tmp/udfs.hql;select*fromtmp1并从命令行运行,即hive-e"......."它工作正常。当然,如果我尝试在Oozie或非CLI客户端中执行此操作,它会失败,因为source是一个CLI命令。现在的问题是:如何在CLI之外复制此功能?换句话说,如何在配置单元查询中执行source命令? 最佳答案 笨拙的解决方法:使用

Hadoop 和 Hive 优化

我需要以下场景的帮助:1)Memo表是hive中的源表。共有5493656359条记录,其描述如下:load_tstimestampmemo_banbigintmemo_idbigintsys_creation_datetimestampsys_update_datetimestampoperator_idbigintapplication_idvarchar(6)dl_service_codevarchar(5)dl_update_stampbigintmemo_datetimestampmemo_typevarchar(4)memo_subscribervarchar(20)mem

hadoop - 使用 Hive 向 HDFS 插入数据

假设我们有一个外部Hive表指向hdfs目录中的CSV文件。那么当使用hive在此表上插入一个新行时发生了什么:插入会导致整个表重写吗?或者完全重写数据所在的hdfsblock?或者只是将新行附加到文件末尾?更新操作的相同问题提前致谢! 最佳答案 回答您的问题,认为您正在使用插入语句而不是对文件使用INSERTOVERWRITE。不,插入将使用您插入的数据创建一个新文件不,只会插入新文件不对现有文件进行追加即使您使用INSERTINTO并插入一些文件,这些新文件也会出现并位于HDFS中的特定目录中,而不会影响现有文件。如果您正在使用

sql - 加载到 Hive 表中仅将整个数据导入第一列

我正在尝试将Hive数据从一台服务器复制到另一台服务器。通过这种方式,我将hive数据从server1导出到CSV中,并尝试将该CSV文件导入到server2中的Hive中。我的表包含以下数据类型:双数字符串数组这是我的命令:导出:hive-e'select*fromsample'>/home/hadoop/sample.csv导入:loaddatalocalinpath'/home/hadoop/sample.csv'intotablesample;导入Hive表后,整行数据仅插入第一列。我该如何克服这个问题,或者是否有更好的方法将数据从一台服务器复制到另一台服务器?

hadoop - 如何将 Hive 表导出到包含标题的 CSV 文件中?

我使用此Hive查询将表导出到CSV文件中。hive-fmysql.sqlrowformatdelimitedfieldsterminatedby','select*fromMydatabase,Mytablelimit100"cat/LocalPath/*>/LocalPath/table.csv但是,它不包括表列名。如何在csv中导出列名?showtablename? 最佳答案 您应该在选择查询之前添加sethive.cli.print.header=true;以将列名作为输出的第一行。输出看起来像Mytable.col1,My

hadoop - Spark-Sql 不修复 hive 表返回 0 条记录

我正在做以下事情:使用ALTERTABLE...DROPIFEXISTSPARTITION(col='val1')删除配置单元分区hdfsdfs-rm-rpath_to_remove运行创建此分区(col='val1')并在HDFS文件夹下创建avro文件的摄取程序`sqlContext.sql("selectcount(0)fromtable1wherecol='val1'").show返回0直到MSCKREPAIRTABLE。在spark-sql中再次看到数据是否必须执行修复步骤?请指教。 最佳答案 如果是外部表,是的,需要修表

scala - Spark JDBC 与 HIVE - Scala

我在HIVE中有一个示例表(stuends1),我想使用JDBC从Spark连接它(因为Hive在AWS中,而不是在同一个集群中)。我只是尝试使用以下代码defmain(args:Array[String]):Unit={//Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance()valconf=newSparkConf().setAppName("SOMEAPPNAME").setMaster("local[*]")valsc=newSparkContext(conf)valspark=SparkSession.bu