草庐IT

apache-karaf

全部标签

apache - Zookeeper 报错连接丢失异常

我正在亚马逊EC2实例上运行SeqWareVM我正在​​尝试使用SeqWare查询引擎从VCF文件中查询数据。当我第一次启动实例并按照说明导入数据时,它工作正常,并继续工作直到我停止实例。当我重新启动它时。它不会让我导入任何东西,也不会创建新的工作区。它总是返回以下错误。我查看了这些进程,发现所需的节点都没有运行,所以我登录到root并转到etc/init.d目录并重新启动所有内容,此时,当T尝试导入数据,我什至没有收到错误,我必须停止该过程。[seqware@mastertarget]$java-classpathseqware-distribution-0.13.6.7-qe-fu

hadoop - 如何从 apache oozie 中的当前操作中检索以前的操作名称?

是否有任何EL函数可以从oozie工作流中的当前操作中获取以前的操作名称。如果EL函数不可能,那怎么可能? 最佳答案 如果您需要它来获取错误消息,请使用wf:lastErrorNode()Actionfailed,errormessage[${wf:errorMessage(wf:lastErrorNode())}] 关于hadoop-如何从apacheoozie中的当前操作中检索以前的操作名称?,我们在StackOverflow上找到一个类似的问题: htt

apache - 尝试在 win 7 上安装和配置 Hadoop 时出错

我正在尝试为Windows7安装和配置apachehadoop。在我必须为java指定路径之前,一切都很顺利。我正在学习本教程http://blog.sqltrainer.com/2012/01/installing-and-configuring-apache.html我评论了#export,作者在上面提到的文章中提到了那个。我得到的错误如下/usr/local/hadoop/libexec/../conf/hadoop-env.sh:第10行:导出:`C:\Java\jre7':不是有效标识符错误:未设置JAVA_HOME。如您所见,错误消息中提到JAVA_Home未设置,但我已设

apache - HBase master 无法启动,无法连接到 hbase.rootdir

我正在尝试根据apache网站上的设置以伪分布式模式运行HBase,但我无法正确配置hbase.root目录。这是我的配置文件的样子:在Hadoop目录中:conf/core-site.xml:fs.default.namehdfs://localhost:9000dfs.replication1mapred.job.trackerlocalhost:9001conf/hdfs-site.xml:dfs.replication1dfs.support.appendtruedfs.datanode.max.xcievers4096conf/mapred-site.xml:mapred.j

apache - Hive 查询花费大量时间来启动 map-reduce 作业

我们正在使用Hive进行临时查询,并且有一个Hive表,该表按两个字段(date,id)进行分区。现在每个日期大约有1400个ID,所以在一天左右添加了很多分区。实际数据驻留在s3中。现在我们面临的问题是假设我们从表格中执行一个月的selectcount(*)然后启动map需要相当长的时间(大约:1小时52分钟)减少工作。当我在Hive详细模式下运行查询时,我可以看到它这次花费的时间实际上决定了要生成多少个映射器(计算拆分)。有什么方法可以减少启动map-reduce作业的延迟时间吗?这是在此延迟时间内记录的日志消息之一:13/11/1907:11:06INFOmapred.FileI

hadoop - 获取异常 WARN org.apache.hadoop.streaming.PipeMapRed : java. io.IOException: Broken pipe

出于某些调试目的,我正在现有的工作R脚本中添加打印语句。print("Hello")我在使用Hadoop流式处理执行此代码时收到Brokenpipe异常。如果我再次删除此打印件,它会起作用,对我来说听起来很奇怪!在编辑Rscript时,我正在通过窗口gitbash使用vi。您能否提出解决方案。 最佳答案 如果您的Hadoop集群由Linux节点组成,并且您提交的脚本是在windows或windowgitbash中编辑的,它将无法运行并抛出误导性异常。只需使用vi或emacs在linux中编辑文件。或者使用do2unix命令将文件从d

hadoop - 我如何使用 apache mahout 实现 LDA?

有一个如下所示的CSV格式的数据集。FileName,Topic,Tag,FrequencyFile-1,Topic-1,Tag-1,10File-2,Topic-2,Tag-2,10File-3,Topic-3,Tag-2,10File-4,Topic-4,Tag-4,10File-5,Topic-1,Tag-5,10File-6,Topic-3,Tag-1,10File-7,Topic-1,Tag-1,10我需要使用mahoutLDA(LatentDirichletallocation)算法找到标签之间的相关性。谁能帮我找到如何使用ApacheMahout做到这一点。我也很困惑,m

hadoop - Apache Shark 0.9.1 无法连接到 HDFS?

在Shark中,当我运行时:CREATEEXTERNALTABLEtest(memberIdSTRING,categorySTRING,messageSTRING,sourceSTRING,event_typeSTRING,log_levelSTRING,pathSTRING,hostSTRING,event_timestampSTRING,eventFieldsMAP)PARTITIONEDBY(datePartSTRING)ROWFORMATSERDE'com.company.eventserde.EventSerde'LOCATION'/user/ubuntu/test';我得到

apache - 我在测试hadoop多节点集群时遇到了一些问题

你好我正在使用带有2个节点的hadoop0.23.9当我尝试单节点时它工作正常但是当我尝试测试字数统计作业时,我得到以下结果,但我不知道错误在哪里我在两台PC上都使用ubuntu12.04LTSmapred-site.xmlmapreduce.framework.nameyarnyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce.shuffleyarn.resourcemanager.resource-tracker.addressmaster:8031yarn.resourcemanager.addressmaster:8032ma

apache - Mapreduce 和apache 的hama 之间的主要区别是什么?

您好,我发现很难将mapreduce与hama进行比较,我知道hama使用这种批量同步并行模型,并且工作节点可以相互通信,而在apache的hadoop中,工作节点只与名称节点通信,对吗?如果是这样,我不明白hama比hadoop中的标准mapreduce有什么好处,谢谢! 最佳答案 你能看一下这个PDFlink这就解释了MapReduce和BSP的区别(ApacheHama提供了BulkSynchronousParallel计算引擎)。 关于apache-Mapreduce和apach