草庐IT

Wzero-as-null-pointer-constant

全部标签

windows - Hadoop 二进制文件中的 java.io.IOException : Could not locate executable null\bin\winutils. exe

$bin/start-hbase.sh2015-07-0119:21:34,971ERROR[main]util.Shell:Failedtolocatethewinutilsbinaryinthehadoopbinarypathjava.io.IOException:Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries.atorg.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)atorg.apache.hadoop.util.Shell

java - 信息 : Transport Used for JDBC connection: null + Apache Hive

我正在尝试通过JDBC连接ApacheHive和eclipse,但出现以下错误。以下是版本信息:ApacheHadoop:2.7.1,Hive:1.2.1和EclipseKepler。****Error:****Dec29,20156:04:00PMorg.apache.hive.jdbc.UtilsparseURLINFO:Suppliedauthorities:localhost:10000Dec29,20156:04:00PMorg.apache.hive.jdbc.UtilsparseURLINFO:Resolvedauthority:localhost:10000Dec29,

hadoop - Sqoop 根据列值导入as-parquetfile

所以我正在尝试运行一个sqoop导入作业,在其中我根据我的partition_key保存parquet文件。最终,我希望我的文件夹/TABLE_DIR/有5个Parquet文件,每个唯一分区键1个。目前我只有4。我无法设置num-mappers5。Table2partition_key可能会上升到8,为此我想获得8个Parquet文件等。Table1:primary_key:[1,2,3,4,5,6,7,8,9,10]partition_key:[1,1,1,2,2,2,3,3,4,5]value:[15,12,18,18,21,23,25,26,24,10]Code:sqoopimp

Hadoop MapReduce : Two values as key in Mapper-Reducer

如何使用两个组件构建key?这样做的原因是我有一个无向图。如果A和B通过通信关联(方向无关),则两个节点A和B之间存在边。此通信有一个数字参数。所以我想实现的是有一个将A和B组合在一起作为一个集合的key,这样A到B和B到A的通信就可以被认为是等价的,并且可以被加起来得到统计数据说:AB5BA10键在语义上应该是“A或B在一起”,这样包含A和B作为键的集合的值应该是5+10=15。wordcount示例将特定单词作为关键字。就我而言,我想将包含两个组件的集合作为关键。在map和reduce阶段,只要满足AtoB或BtoA就求和。谢谢! 最佳答案

hadoop - 运行时异常 : Error in configuring object with null pointer exception while running my UDAF?

我一直在尝试编写一个UDAF来计算加权平均值。我用类似于现有UDAF的方式编写它来计算平均值,但它似乎只适用于我的本地机器。我不确定出了什么问题....有人遇到过类似的问题吗以下是生成的错误:java.lang.RuntimeException:Errorinconfiguringobjectatorg.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)atorg.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)

java - 无法从 Eclipse 运行 Hadoop,说 Eclipse 中的 Hadoop 位置(错误 :NULL)

我已经从Yahoo站点下载了HadoopVM,并通过VMwareplayer启动了HadoopVM。我没有看到任何问题。正如Yahoo中提到的,我使用EclipseEuropa(v3.3.1)并下载了一个jar文件(hadoop-0.18.3-eclipse-plugin)来在eclipse中制作MapReduce插件。我用hadoop启动了linuxVM,并在eclipse中创建了新的DFS位置(输入我的VM的IP,Map/Reduce主端口9001,DFS端口9000。但是在节点中我收到错误“Error:null”。我做错了什么?此外,在eclipse中配置Hadoop变量时,我在

hadoop - 将 NULL 值从 Hive 导出到 Teradata

我在Hive中有一个表,其中某些列具有NULL值,我正在使用Teradata连接器将该表从Hadoop导出到Teradata。我的问题是NULL值被视为字符串NULL而不是NULL。如何将NULL值直接导出到Teradata?请帮忙。 最佳答案 您是否在导出命令中使用了input-null-string参数?根据documentation:The--input-null-stringand--input-null-non-stringargumentsareoptional.If--input-null-stringisnotspe

前端传json数据给后端使用pojo类接收 属性值为null解决思路

1问题分析:    (1)第一种可能:前端字段与后端属性名对应不上    (2)第二种可能;pojo类没有Getter和Setter方法来读取和写入属性值    (3)第三种可能:没有使用@RequestBody注解或者@RequestParam注解2解决方法:    (1)第一种可能解决方法:检查自己的json数据和pojo类属性名        说一下我当时遇到的问题:我前端json对象里面又嵌套了一个json对象给后端导致我所有的属性值为null,所以我将嵌套的json对象删除就好了pojo类:/***新增课程Dto*/@Data@ApiModelpublicclassAddCourse

hadoop - read data as "streaming fashion"是什么意思?

我正在阅读ApacheCrunchdocumentation我发现了以下句子:Dataisreadinfromthefilesysteminastreamingfashion,sothereisnorequirementforthecontentsofthePCollectiontofitinmemoryforittobereadintotheclientusingmaterialization.我想知道以流式方式从文件系统读取是什么意思,如果有人能告诉我与其他读取数据的方式有什么区别,我将不胜感激。我想说这个概念也适用于其他工具,例如Spark。 最佳答案

r - sparklyr - rsparkling as_h2o_frame() 错误 java.lang.IllegalArgumentException : Unsupported argument: (spark. dynamicAllocation.enabled,true)

我正在尝试在sparklyrsession期间通过H2o(使用库rsparkling)使用一些机器学习功能。我正在运行hadoop集群。考虑以下示例:library(dplyr)library(sparklyr)library(rsparkling)library(h2o)#configurethesparksessionandconnectsc=spark_connect(master='yarn-client',spark_home='/usr/hdp/current/spark-client',app_name='sparklyr',config=list("sparklyr.s