草庐IT

back-end

全部标签

hadoop - Ended Job = job_local644049657_0014 with errors Error during job, 获取调试信息

如何找到日志文件请指导我已经检查了资源管理器的url。但是我没有找到任何日志文件这是完整的错误QueryID=hadoop_20170325120040_d54d136a-1904-4af9-8f8d-4167343db072Totaljobs=1LaunchingJob1outof1Numberofreducetasksissetto0sincethere'snoreduceoperatorJobrunningin-process(localHadoop)2017-03-2512:00:42,954Stage-0map=0%,reduce=0%EndedJob=job_local64

java - hadoop java : how to know that end of reducer input is reached?

我的reducer是这样的publicstaticclassReduceextendsMapReduceBaseimplementsReducer{ListallRecords=newArrayList();publicvoidreduce(IntWritablekey,Iteratorvalues,OutputCollectoroutput,Reporterreporter)throwsIOException{allRecords.add(values.next());Text[]outputValues=newText[7];for(inti=1;i>=7;i++){outputV

xml - 配置单元-site.xml : The element type "configuration" must be terminated by the matching end-tag "</configuration>"

为了练习/学习,我正在尝试在Ubuntu系统上安装Hive。我正在遵循一组预先编写的说明。它说通过转到$HIVE_HOME并运行bin/hive来测试Hive安装。当我这样做时,我得到了相当大的文本转储,但我认为最重要的一点如下:**[FatalError]hive-site.xml:2787:3:Theelementtype"configuration"mustbeterminatedbythematchingend-tag"".17/05/0610:46:12FATALconf.Configuration:errorparsingconffile:/usr/local/hive/c

hadoop - java.io.IOException : invalid distance too far back in hadoop mapreduce 异常

我在我的一些mapreduce作业中遇到了这个奇怪的错误java.io.IOException:invaliddistancetoofarbackatorg.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(NativeMethod)atorg.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:221)atorg.apache.hadoop.io.compress.DecompressorSt

python - Spark 异常 : Python worker did not connect back in time

我正在尝试将Python作业提交到2个工作节点的Spark集群,但我一直看到以下问题,最终导致spark-submit失败:15/07/0421:30:40WARNscheduler.TaskSetManager:Losttask0.1instage0.0(TID2,workernode0.rhom-spark.b9.internal.cloudapp.net):org.apache.spark.SparkException:Pythonworkerdidnotconnectbackintimeatorg.apache.spark.api.python.PythonWorkerFact

hadoop - 错误 2997 : Unable to recreate exception from backed error: while using CSVExcelStorage

错误2997:无法从支持的错误中重新创建异常。在这里,我已经解析了apache日志文件,但是当我试图将其导出为csv格式时,会发生此错误。代码和错误:grunt>STORElogsINTO'/home/cloudera/workspace/Test_log.csv'USINGorg.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','NOCHANGE');2015-12-2410:50:44,821[main]INFOorg.apache.pig.tools.pigstats.ScriptState-Pigf

scala - Spark : Calculate event end time on 30-minute intervals based on start time and duration values in previous rows

我有一个带有event_time字段的文件,每条记录每30分钟生成一次,并指示事件持续了多少秒。示例:Event_time|event_duration_seconds09:00|80009:30|180010:00|270012:00|100013:00|1000我需要将连续的事件转换为一个具有持续时间的事件。输出文件应如下所示:Event_time_start|event_time_end|event_duration_seconds09:00|11:00|530012:00|12:30|100013:00|13:30|1000ScalaSpark中是否有一种方法可以将数据帧记录与

hadoop - 带有 Yarn 的 Spark Shell - 错误 : Yarn application has already ended! 它可能已被杀死或无法启动应用程序主机

作为this的后续行动问题,当我尝试在我的单节点机器上使用Spark2.1.1overYarn(Hadoop2.8.0)时出现新错误。如果我使用启动SparkShellspark-shell它开始没有问题。在使用通常的start-dfs.sh和start-yarn.sh启动Hadoop之后,如果我使用spark-shell--masteryarn我收到以下错误:17/06/1012:00:07WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhe

java - 弹性 map 减少超时java.io.IOException : Unexpected end of stream

我正在运行MAPreduce作业(ElasticmapreduceEMR)服务。该作业适用于小型数据集,但对于大型数据集(文件大小400MB)存在以下异常使用相同的大输入文件运行另一个作业工作正常但是。为什么这样呢?Error:java.io.IOException:Unexpectedendofstreampos=19520590contentLength=458603265atorg.apache.hadoop.fs.s3native.NativeS3FileSystem$NativeS3FsInputStream.read(NativeS3FileSystem.java:313)

【论文笔记】视频实例分割 CVPR2021 Oral——VisTR:End-to-End Video Instance Segmentation with Transformers

视频实例分割videoinstancesegmentation,在vos的基础上,对每个实例打标签。实例分割是目标检测+语义分割,在图像中将目标检测出来,然后对目标的每个像素分配类别标签,能够对前景语义类别相同的不同实例进行区分数据集:Youtube-VIS前身:Videoinstancesegmentation论文地址:VIS代码地址:MaskTrackRCNNVisTR:End-to-EndVideoInstanceSegmentationwithTransformers论文地址:VisTRCVPR2021代码地址:https://git.io/VisTR参考链接:CVPR2021Oral