草庐IT

like-box

全部标签

hadoop - 如何使用本地 Windows Box 上安装的 Apache Nifi 实例连接到安装了 Hadoop 的远程 Linux 节点?

我已经在我的Windows本地系统上安装了Apachenifi1.1.1。如何使用本地WindowsBox上安装的ApacheNifi实例连接到安装了Hadoop的远程Linux节点?另外,如何使用这些本地Nifi实例在安装了Hadoop的远程Linux节点上执行数据迁移事件?我在这些远程Hadoop集群上启用了Kerberos。 最佳答案 “Unsupportedmajor.minorversion”是因为ApacheNiFi1.x需要Java8,而您尝试使用Java7JVM启动它。你可以安装一个Java8JDK只供NiFi使用,

linux - 如何在 VM box 中的 Ubuntu Linux 中安装 Hadoop 和 Hive?

我正在使用Windows7操作系统,我想学习Hive和Hadoop。所以我在MyVMBox中安装了Ubuntu13.04版本。当我选择下载Hadoop和Hive时,下面的URL有多个文件要下载你能帮我在Ubuntu框中安装Hive吗?还有其他步骤吗?你有任何步骤吗http://mirror.tcpdiag.net/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-1.i386.rpmhadoop-1.1.2-1.i386.rpm.mdshadoop-1.1.2-1.x86_64.rpmhadoop-1.1.2-1.x86_64.rpm.mds

hadoop - 类似于 Mapper setup() 的 Hive setup()-like 功能?

我想用Hive替换Hadoop作业。我的挑战是在Hadoop中,我正在使用setup()通过从分布式缓存中读取引用数据(兴趣点)来构建kdtree。然后我在map()中使用kdtree来评估目标数据与kdtree的距离。在Hive中,我想使用带有evaluate()方法的udf来确定距离,但我不知道如何使用引用数据设置kdtree。这可能吗? 最佳答案 我可能没有完整的答案,所以我只是提出一些可能有帮助的想法。您可以使用ADDFILE...将文件添加到hive中的分布式缓存Hive11+(我认为)应该允许您访问GenericUDF.

regex - 当 regexp_like 和 regexp_extract 工作正常时,Impala regexp_like 查询返回 null

我需要使用regex_extract从列中的字符串中提取数字。我在外部表上使用Impala。我已经检查了正则表达式,为了测试它,我还使用了regexp_like和regexp_replace。他们两个都工作得很完美。这里是查询:selectsucursal,regexp_like(sucursal,'^[0-9]{1,3}')asmatch,regexp_extract(sucursal,'^[0-9]{1,3}',1)asCodSucusal,regexp_replace(sucursal,'^[0-9]{1,3}','lala')asRepCodSucusalfromjdv.stg

regex - CASE WHEN - LIKE - Hadoop Hive 中的 REGEXP

我想使用CASEWHEN、LIKE和正则表达式在配置单元表中编写查询。我使用了regexp和rlike,但我没有得到想要的结果。到目前为止,我的尝试如下selectdistinctendingfrom(selectdate,ending,name,count(distinctid)from(selectCONCAT_WS("/",year,month,day,hour)asdate,id,name,casewhentype='TRAN'then'tran'wheneventsregexp'%[:]no_reply[:]%[^o][^n][:]incomplete[:]%'andtype

apache - 需要在 Virtual Box 5.0.16 中运行的 Hortonworks Sandbox 虚拟机(HDP 2.4)上安装 Firefox 浏览器

我是Hadoop和大数据世界的新手...我已经在VirtualBox中安装了HortonworksSandboxVM。效果很好……谁能告诉我如何在VM中安装Firefox?我需要它来使用NIFI非常感谢您的帮助! 最佳答案 在VM上安装浏览器并通过VNC使用它通常会非常慢。最好的选择是设置SSH隧道并进行本地转发。如果你在Windows上使用PuTTyssh客户端,那么你可以按照以下instructions进行操作关于设置本地转发,这将允许您使用主机操作系统上的浏览器连接到VM中运行的NIFI实例。

hadoop - 在 Hive 中使用 LIKE 或 RLIKE 连接表

我正在尝试(INNER)使用RLIKE连接Hive中的两个表。selecta.col_x,b.col_y,count(*)asnfromtableAajointableBbONa.col_xRLIKEconcat('^',b.col_z)groupbya.col_x,b.col_y(表A约100M条记录,表B约1k条记录)此查询将不起作用,因为Hive仅支持相等连接。我将不等式移至where子句(引用:ErrorinHiveQuerywhilejoiningtables)。selecta.col_x,b.col_y,count(*)asnfromtableAa,tableBbWHERE

java - Hadoop : set a variable like hashSet only once so that it can be utilized multiple times in each map task

您好,我有一个HashSet,它需要在hadoop中的每个映射任务中使用。我不想多次初始化它。我听说可以通过在配置函数中设置变量来实现。欢迎提出任何建议。 最佳答案 看来你还没有真正了解Hadoop的执行策略。如果你是分布式模式,你不能在多个map任务中共享一个集合(HashSet)。这是因为任务是在它们自己的JVM中执行的,并且它不是确定性的,即使不使用jvm重用,你的集合在jvm被重置后仍然存在。您可以做的是在计算开始时为每个任务设置一个HashSet。因此您可以覆盖setup(Contextctx)方法。这将在调用映射方法之前

hadoop - Vagrant 'box could not be found' 错误

我已经安装了Vagrant和VirtualBox来模拟​​Hadoop管理(ApacheAmbari)。根据其安装文档,我已经完成了创建虚拟机的所有工作(使用“vagrantup”命令)。我已经手动安装了lucid32box文件并将其放入目录,但它仍然显示:Thereareerrorsintheconfigurationofthismachine.Pleasefixthefollowingerrorsandtryagain:vm:*Thebox'lucid32'couldnotbefound.我做错了什么? 最佳答案 按照这个过程,

java - 带有 LIKE 的 Spring JPA @Query

我正在尝试在CrudRepository中创建一个方法,该方法能够为我提供用户列表,其用户名类似于输入参数(不仅以输入参数开头,而且还包含它)。我尝试使用方法"findUserByUsernameLike(@Param("username")Stringusername)"但正如Spring文档中所述,此方法等于“user.usernamelike?1”。这对我不好,因为我已经告诉过我正在尝试获取用户名包含的所有用户...我为该方法编写了一个查询,但它甚至没有部署。@RepositorypublicinterfaceUserRepositoryextendsCrudRepository