草庐IT

issue_date

全部标签

date - 如何在 HIVE 中的连续日期之间插入行数据?

示例数据:customertxn_datetagA1-Jan-171A2-Jan-171A4-Jan-171A5-Jan-170B3-Jan-171B5-Jan-170需要填写日期范围(2017年1月1日至2017年1月5日)之间每个缺失的txn_date。就像下面这样:输出应该是:customertxn_datetagA1-Jan-171A2-Jan-171A3-Jan-170(inserted)A4-Jan-171A5-Jan-170B1-Jan-170(inserted)B2-Jan-170(inserted)B3-Jan-171B4-Jan-170(inserted)B5-Ja

sql - 从 current_date 获取星期并在 SQL 中创建一个具有动态名称的表

我每周运行一个特定的查询,创建一个包含所需数据的周表。表名格式如下db_name.subscriptions_wk29--为第29周数据创建的表db_name.subscriptions_wk30--为第30周数据创建的表db_name.subscriptions_wk31--为第31周数据创建的表由于这是一项重复性任务,我想安排此查询,使其在特定一周的每个星期一自动运行以获取前一周的数据。我面临的问题是,我不知道如何在每周运行查询时动态更改表名。因此,当我下次运行查询时,它应该会自动创建一个名为db_name.subscriptions_wk32的表。我可以从weekofyear('

hadoop - 亚马逊弹性 map 减少 : Listing job flows in command line tools Issue?

我是Amazon网络服务的新手,我正在尝试使用命令行界面工具在Amazonelasticmapreduce作业上运行作业流。我按照来自aws的开发人员指南的亚马逊开发人员指南中的步骤进行操作。但事情对我来说并不清楚。如果我执行命令./elastic-mapreduce--list列出作业流程。显示以下错误。/home/pdurai/Applications/elastic-mapreduce-cli/amazon/coral/httpdestinationhandler.rb:23:warning:elsewithoutrescueisuseless/usr/local/rbenv/v

sql - Hive 中的 TRUNC 和 TO_DATE 有什么区别

您好,我想找出在Hive中使用TRUNC和TO_DATE之间的区别。目前在oracle中,我针对下面显示的数据编写了以下案例语句:ORDER_NO|NAME|DATE_|TASK_NOABC123|Humpty|07-OCT-1612:30:54|1ABC123|Humpty|07-OCT-1612:30:54|2ABC123|Humpty|07-OCT-1612:32:20|6SELECTORDER_NO,NAME,DATE_,TASK_NO(CASEWHENDATE_-LAG(DATE_)OVER(PARTITIONBYORDER_NO,NAME,TRUNC(DATE_)ORDER

date - Hive - 来自时间戳列的月份和年份

您好,我正在尝试使用以下查询提取hive中时间戳列的月份和年份部分selectfrom_unixtime(unix_timestamp(upd_gmt_ts,'yyyyMM'))fromabc.test;输出看起来像2016-05-2001:08:48期望的输出应该是201605感谢任何建议。 最佳答案 我更喜欢使用Hivedate_format()(从Hive1.2.0开始)。它支持JavaSimpleDateFormat模式。date_format()接受日期/时间戳/字符串。所以你的最终查询将是selectdate_forma

date - 如何在 Hive 中将时间戳(秒和毫秒之间的点)转换为日期(yyyyMMdd)?

例如,我想将时间戳1490198341.705转换为日期20170323和小时11(GMT+8:00)。有什么函数可以解决这个问题吗? 最佳答案 试试这个:selectdate_format(from_utc_timestamp(1490198341.705,'GMT+8:00'),'yyyyMMddHH:mm:ss'); 关于date-如何在Hive中将时间戳(秒和毫秒之间的点)转换为日期(yyyyMMdd)?,我们在StackOverflow上找到一个类似的问题:

date - HIVE - 按日期功能分组

谁能告诉我为什么我没有得到结果集中每个f0、MONTH、DAY、HOUR、MINUTE组的计数?结果集:查询:SELECTt.f0,MONTH(TO_DATE(Hex2Dec(t.f2))),DAY(TO_DATE(Hex2Dec(t.f2))),HOUR(TO_DATE(Hex2Dec(t.f2))),MINUTE(TO_DATE(Hex2Dec(t.f2))),COUNT(DISTINCTt.f1)FROMtabletWHERE(t.f0=1ORt.f0=2)AND(t.f3>='2013-02-06'ANDt.f3=1360195200ANDHex2Dec(t.f2)架构:f0I

hadoop - 使用 --master yarn-cluster : issue with spark-assembly 运行 spark-submit

我在基于Kerberos的集群上运行Spark1.1.0、HDP2.1。我可以使用--masteryarn-client成功运行spark-submit,并且结果已正确写入HDFS,但是,该作业没有显示在HadoopAllApplications页面上。我想使用--masteryarn-cluster运行spark-submit但我仍然收到此错误:appDiagnostics:Applicationapplication_1417686359838_0012failed2timesduetoAMContainerforappattempt_1417686359838_0012_0000

hadoop - pig 拉丁语 : Load multiple files from a date range (part of the directory structure)

我有以下场景-pig版使用0.70示例HDFS目录结构:/user/training/test/20100810//user/training/test/20100811//user/training/test/20100812//user/training/test/20100813//user/training/test/20100814/正如您在上面列出的路径中看到的,其中一个目录名称是一个日期戳。问题:我想加载日期范围为20100810到20100813的文件。我可以将日期范围的“从”和“到”作为参数传递给Pig脚本,但我如何在LOAD语句中使用这些参数。我能够做到以下几点te

php - Zend_Validate_Date 不能正常工作

看起来Zend_Validate_Date只是不能正常工作。例如:$validator=newZend_Validate_Date(array('format'=>'yyyy'));这是一个简单的验证器,应该只接受四位数的年份,但$validator->isValid('1/2/3')返回true!真的吗,Zend?或者这个怎​​么样:$otherValidator=newZend_Validate_Date(array('format'=>'mm/dd/yyyy'));即使使用上面的代码,$otherValidator->isValid('15/13/10/12/1222')也会返回