草庐IT

hadoop - hive insert overwrite table with inner sub query of count of columns 作为结果

你好,我在源表“状态表”下面有datestatusname2017-06-22true1.tar2017-06-22true2.tar2017-06-22false3.tar2017-06-22true4.tar2017-06-22false5.tar2017-06-21false6.tar2017-06-21false6.tar2017-06-21false6.tar2017-06-21true6.tar我在目标表列下面有预期的数据TrueFalseTotalDate3252017-06-221342017-06-21我在下面写了查询将数据从源表加载到目标表,但它说表达式不在GROU

hadoop - Sqoop snappy 压缩不起作用

我有以下sqoop脚本,它应该以parquet格式获取数据并使用snappy压缩。sqoopimport\--hive-drop-import-delims\--fields-terminated-by'\001'\--connect''\--query'select*from.where$CONDITIONS'\--username\--password\--split-by''\-m=4\--input-null-string''\--input-null-non-string''\--inline-lob-limit0\--target-dir\--compression-cod

hadoop - 在S3上创建Hive外部表将引发 “org.apache.hadoop.fs.s3a.S3AFileSystem not found”异常

我在本地计算机上使用beeline在DDL下运行,并引发异常。DDL是CREATETABLE`report_landing_pages`(`google_account_id`stringCOMMENT'fromdeserializer',`ga_view_id`stringCOMMENT'fromdeserializer',`path`stringCOMMENT'fromdeserializer',`users`stringCOMMENT'fromdeserializer',`page_views`stringCOMMENT'fromdeserializer',`event_valu

hadoop - Hive 中的时间戳分区

我正在尝试在配置单元中创建基于时间戳的分区。但是配置单元正在创建基于数据的分区。下面是我的代码。有人可以帮忙吗?cattest1.shdat=`date+'%Y%m%d%H:%m:%S'`hive-fload.hql-hiveconffile_load_timestamp=$dat;catload.hqlINSERTOVERWRITEtableperm.testpartition(file_load_timestamp='${hiveconf:dat}')SELECTa,bFROMwork.temp;dt=20180102/=HDFS路径是这样创建的。dt=20180102103455

hadoop - 如何获得自定义 Nagios 插件以与 NRPE 一起使用?

我有一个无法访问互联网的系统,我想在其中安装一些Nagios监控服务/插件。我安装了NRPE(NagiosRemotePluginExecutor),我可以看到里面定义的命令,比如check_users、check_load、check_zombie_procs等。command[check_users]=/usr/lib/nagios/plugins/check_users-w5-c10command[check_load]=/usr/lib/nagios/plugins/check_load-w15,10,5-c30,25,20...我可以像这样运行命令:/usr/local/na

hadoop - Spark YARN 应用程序中 Kerberos 中的 HDFS 写入问题

我有一个spark应用程序,它从Kafka读取数据并将数据写入HDFS。我的应用程序在几分钟内工作正常,但一段时间后它开始出现以下错误并失败。2018-01-0217:59:20LeaseRenewer:username@nameservicename[WARN]UserGroupInformation-PriviledgedActionExceptionas:username@REALM_NAME(auth:KERBEROS)cause:javax.security.sasl.SaslException:GSSinitiatefailed[CausedbyGSSException:N

hadoop - 如何为 Titan MR 作业设置 yarn 作业队列

Titan版本是1.0.0无论我尝试过什么,所有yarn应用程序最终都在默认队列中。这些是我试过的东西:1)在titan-hbase-solr.properties中设置属性(以下均无效)mapred.job.queue.name=myqueuemapreduce.job.queue.name=myqueuemapred.mapreduce.job.queue.name=myqueue2)在gremlinshell中设置属性gremlin>graph=TitanFactory.open("/usr/iop/4.2.5.0-0000/titan/conf/titan-hbase-solr

hadoop - 使用配置单元中的另一个表创建表时出现问题

hive中有一个测试表。表数据有多个小文件,所以我想使用该测试表创建另一个表,这样新创建的表将具有更少的分区并且查询会很快。但是我创建新表时它给了我错误。CREATETABLEIFNOTEXISTStest_mergeSTOREDASparquetASSELECT*FROMtest;错误ERROR:Status:FailedERROR:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.spark.SparkTaskINFO:Completedexecutingcommand(queryId=hive_

Hadoop Kerberos : Datanode cannot connect to Namenode. 由 jsvc 启动 Datanode 以绑定(bind)特权端口(不使用 SASL)

我设置了一个运行良好的HAHadoop集群。但是添加Kerberos认证后datanode无法连接namenode。验证Namenode服务器成功启动并且没有记录错误。我用用户'hduser'启动所有服务$sudonetstat-tuplen...tcp0010.28.94.150:80190.0.0.0:*LISTEN1001202181518/javatcp0010.28.94.150:500700.0.0.0:*LISTEN1001202071447/javatcp0010.28.94.150:90000.0.0.0:*LISTEN1001202351447/java数据节点以r

hadoop - Oozie HUE 仪表板未显示图表

正如我的标题所说,oozie工作流仪表板未在UI上显示图表。随着研究,我发现了很多问题,JIRAS以及hortonworksportal中的问题,这真的对我没有帮助。我正在从命令行创建job.properties和workflow.xml并从命令行提交作业,通过UI执行不是我的选择。下面是我正在运行的示例工作流.XML${jobTracker}${nameNode}mapreduce.job.queuename${queueName}SCRIPT.sh${Path}/SCRIPT.sh#SCRIPT.sh${configFile}提前致谢!! 最佳答案