草庐IT

apache-karaf

全部标签

hadoop - 是否有任何经过测试的类似于 Apache Hadoop 的框架/解决方案?

我对ApacheHadoop项目很感兴趣,但我想知道是否还有其他经过测试(请注意“经过测试”)的项目/框架。感谢与ApacheHadoop类似的项目的任何信息/链接,以及任何使用它的人对ApacheHadoop项目的任何评论。问候, 最佳答案 正如这个问题的答案中提到的:https://stackoverflow.com/questions/2168558/is-there-anything-like-hadoop-in-cMongoDB可能是你可以看看的东西。它是一个可扩展的数据库,允许对其运行MapReduce算法。

apache - 询问 apache zookeeper

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭8年前。Improvethisquestion你好,我是mohamad,一名硕士生我想问一个关于Zookeeper的问题。我读到zookeeper中的写操作首先要完成,连接到客户端的服务器必须联系领导者,然后领导者进行投票,当他获得超过一半的服务器时,他回复服务器,这是连接到客户端以便继续执行此操作。但我的问题是投票过程是为了什么?我的意思是他们投票给什么?第二个问题是他们如何投票他们发送消息或者他们如何通知领导者。第三个问题是为什么他们需要投票,我

apache - 无法读取 PFPGrowth 的 mahout 输出

我在hadoop上成功运行了Apachemahout的并行FPGroth算法。但是生成的输出文本文件不可读,如下所示SEQorg.apache.hadoop.io.TextDorg.apache.mahout.fpm.pfpgrowth.convertors.string.TopKStringPatterns������3G9��y'����e������1����2������������1��������t��5��1����������4��1������������1��4227������������3��1����������1��3476����������t��1��1

apache - Sqoop:找不到命令

我目前使用的是Ubuntu12.04和Hadoop1.0.3。我最近手动下载了sqoop并在/etc/environment中给出了路径。但是我的终端显示“sqoop:找不到命令”。有人有什么想法吗? 最佳答案 执行echo$PATH以查看Linux在其中搜索已执行二进制文件的目录。您应该会在此路径中看到sqoop安装文件夹的bin子目录。例如,如果您已安装到/usr/local/sqoop,则您的路径应包含/usr/local/sqoop/bin。如果您没有看到此设置,请在配置了$PATH的任何地方更改它,例如如果您使用的是bas

hadoop - Apache pig : Filter one tuple on another?

我想根据col2中的条件,并在操作col2之后,通过拆分两个元组(或Pig中的任何名称)来运行Pig脚本,进入另一列,比较两个被操纵的元组并进行额外的排除。REGISTER/home/user1/piggybank.jar;log=LOAD'../user2/hadoop_file.txt'AS(col1,col2);--log=LIMITlog1000000;isnt_filtered=FILTERlogBY(NOTcol2=='Somevalue');isnt_generated=FOREACHisnt_filteredGENERATEcol2,col1,RANDOM()*1000

hadoop - Apache PIG : apply LIMIT only if parameter is > 0

如何在PIG中的foreach中实现以下目标:REL=foreachRELS{if(cnt==0)limited_result=NULL/Empty;elselimited_result=LIMITresultscnt;generatelimited_result.some_field;}我不能使用LIMIT,因为它会验证“cnt”是否大于0;我尝试使用SPLIT,但显然它在foreach中不受支持。 最佳答案 在FOREACH之前FILTER怎么样?REL=foreach(filterRELSbycnt>0){limited_re

java - 在 hadoop 上运行 JNI 的 Apache Pig 无法在多个 map 上加载共享对象(但仅在一个 map 上运行良好)

这个问题不太可能帮助任何future的访问者;它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关,这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用,visitthehelpcenter.关闭9年前。所以我们已经编写了一个JNI,然后我们编写了一个UDF以便能够从ApachePig调用我们的JNI。现在的问题是我们得到这个错误,但只有当我们用多个map运行它时(只有一个map一切正常):Nativecodelibraryfailedtoload.java.lang.UnsatisfiedLinkError:Can'tloadlibrary:/usr/l

maven - 在 Eclipse 中编译 Apache Hadoop 源代码

经过大约4次尝试,我设法使用git来检查apache的Hadoop源代码,发出一个mvneclipse:eclipse命令,然后将所有项目导入到Eclipse中。到目前为止,这是我最成功的一次。我快到了。我尝试构建和清理所有项目,一切进展顺利。现在我只有3个错误需要删除。如果有人能帮助我,我将不胜感激。我一直试图让它工作大约2天左右。无论如何,在Eclipse中我有大约20个Hadoop项目。只有两个有错误。一个称为“hadoop-streaming”,另一个称为“hadoop-tools-dist”。错误说明如下:项目“hadoop-streaming”缺少所需的源文件夹:“C:/U

hadoop - Pig-0.10.0 : CSVLoader cannot be cast to org. apache.pig.StoreFuncInterface

我似乎无法弄清楚我哪里出了问题。该脚本非常适用于PigStorage,但为CSVLoader提供了这个ClassCastException。我检查了文档,但没有帮助。这是堆栈跟踪:PigStackTrace---------------ERROR1200:Pigscriptfailedtoparse:pigscriptfailedtovalidate:java.lang.ClassCastException:org.apache.pig.piggybank.storage.CSVLoadercannotbecasttoorg.apache.pig.StoreFuncInterfaceo

ant - 如何在 IntelliJ 中编译 apache PIG?

我正在尝试从IntelliJ中的源代码在本地运行apachepig。我想逐步完成单元测试。我已经完成了以下步骤:gitclonehttps://github.com/apache/pig.gitcdpig;gitcheckoutrelease-0.9.1ant在那之后有人有将其导入IntelliJ的说明吗?它使用ant从cmd行编译得很好。当我执行FILE->IMPORTPROJECT然后构建时,我遇到了提示重复类的复杂错误。我要做的就是在intellij中构建->MAKEPROJECT:/谢谢! 最佳答案 找到答案:git克隆ht