草庐IT

start_date

全部标签

date - hive cast string to date in 'dd/MMM/yyyy' format order by and group by issue

我将日期存储为[27/Feb/2016:00:24:31+0530]。我想要27/Feb/2016中的日期格式,并且还想按它排序。我试过了this解决方案,但它以2016-02-27形式返回,并且也正确排序。SELECTTO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(SUBSTR(time,2,11),'dd/MMM/yyyy')))ASreal_date,urlFROMcleanned_logsORDERBYreal_dateASC;为了获得所需的格式,我尝试使用date_format()函数。它在1.2.1中不可用,所以我从1.0.1切换到它。SELECT

ubuntu - HADOOP - 权限被拒绝执行 start-all.sh

我正在尝试在笔记本电脑上安装Hadoop。我遵循了本指南:https://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/当我尝试运行start-all.sh时,我得到了这个:vava@vava-ThinkPad:/usr/local/hadoop-3.1.1/sbin$bashstart-all.shWARNING:AttemptingtostartallApacheHadoopdaemonsasvavain10seconds.WARNING:Thisisnotarec

windows - Hadoop start-all.cmd 命令 : datanode shutting down

我正在尝试在我的windows10中安装hadoop引用:https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10Hadoopstart-all.cmd命令成功启动namenode、resourceManager和nodeManager但datanode没有启动错误::checker.StorageLocationChecker:ExceptioncheckingStorageLocation[DISK]file:/C:/ha

ubuntu - Hadoop - start-all.sh 未执行

我今天更新到Ubuntu16.04,当我执行start-all.sh时,它会抛出这个:ThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.sh/usr/local/hadoop/bin/hdfs:line304:/usr/lib/jvm/java-7-openjdk-amd64/bin/java:NosuchfileordirectoryStartingnamenodeson[]localhost:startingnamenode,loggingto/usr/local/hadoop/logs/hadoop-hduser

hadoop - 将 TDCH 用于 hcat 作业类型的异常。不支持 DATE 列

我正在运行的查询是:hadoopcom.teradata.hadoop.tool.TeradataExportTool-urljdbc:teradata://tdx/TMODE=ANSI,CHARSET=UTF8,database=db-usernamexxx-passwordxxx-jobtypehcat-sourcetablecustomers-sourcedatabasexxx-nummappers1-targettablecustomers在运行作业时,我得到这个异常:com.teradata.connector.common.exception.ConnectorExcept

scala - Spark : Calculate event end time on 30-minute intervals based on start time and duration values in previous rows

我有一个带有event_time字段的文件,每条记录每30分钟生成一次,并指示事件持续了多少秒。示例:Event_time|event_duration_seconds09:00|80009:30|180010:00|270012:00|100013:00|1000我需要将连续的事件转换为一个具有持续时间的事件。输出文件应如下所示:Event_time_start|event_time_end|event_duration_seconds09:00|11:00|530012:00|12:30|100013:00|13:30|1000ScalaSpark中是否有一种方法可以将数据帧记录与

ubuntu - Accumulo 的 Start-all.sh 抛出多个关于 : Max open files on localhost 的警告

我收到关于以下内容的多个警告:WARN:Maxopenfilesonlocalhostis1024,recommend32768我不确定这是关于什么的。/usr/local/accumulo$./bin/start-all.sh&[1]27142/usr/local/accumulo$StartingmonitoronlocalhostWARN:Maxopenfilesonlocalhostis1024,recommend32768Startingtabletservers....doneStartingtserveronlocalhostWARN:Maxopenfilesonloca

hadoop - 在 Impala 中将 STRING 转换为 DATE。 (可能的错误)

这似乎是我面临的一个有趣的错误/问题。我正在使用CDH5.8(Hadoop的Cloudera发行版)下的Impala和HUE。执行下面的代码select'1709.02.02'asDateString,CAST((from_unixtime(UNIX_TIMESTAMP('1709.02.02','yyyy.MM.dd')))asTIMESTAMP)asDateTimestamp我得到如下输出(这是预期的)datestringdatetimestamp1709.02.021709-02-0200:00:00但是在执行下面的代码时select'1009.02.02'asDateStrin

Hadoop:连接到主机 localhost 端口 22:运行 start-dfs.sh 时连接被拒绝

当使用start-dfs.sh启动最新的(2014年10月)Hadoop时,我们看到:connecttohostlocalhostport22:Connectionrefusedwhenrunning 最佳答案 安装openssh服务器。对于Ubuntu命令是:sudoapt-getinstallopenssh-server在hadoop-env.sh文件中(存在于/etc/hadoop中)添加以下行:exportHADOOP_SSH_OPTS="-p22" 关于Hadoop:连接到主机

date - 如何在 HIVE 中的连续日期之间插入行数据?

示例数据:customertxn_datetagA1-Jan-171A2-Jan-171A4-Jan-171A5-Jan-170B3-Jan-171B5-Jan-170需要填写日期范围(2017年1月1日至2017年1月5日)之间每个缺失的txn_date。就像下面这样:输出应该是:customertxn_datetagA1-Jan-171A2-Jan-171A3-Jan-170(inserted)A4-Jan-171A5-Jan-170B1-Jan-170(inserted)B2-Jan-170(inserted)B3-Jan-171B4-Jan-170(inserted)B5-Ja