草庐IT

hadoop-mapreduce

全部标签

hadoop - EMR Hue : CUSTOM server authentication not supported. 有效的是 ['NONE' , 'KERBEROS' , 'PAM' , 'NOSASL' , 'LDAP' ]

当我为Hive启用“自定义”身份验证时,Hue无法连接到HiveServer2。它抛出以下错误:CUSTOMserverauthenticationnotsupported.Validare['NONE','KERBEROS','PAM','NOSASL','LDAP'].如果我们使用自定义身份验证提供程序配置Hive,这是否意味着Hue不起作用?Hive本身工作正常,JDBC/ODBC使用自定义身份验证也按预期工作。有解决办法吗?引用:https://cwiki.apache.org/confluence/display/Hive/Setting+Up+HiveServer2

java - 在java程序中编译错误以使用hadoop计算文件中的单词

我的Java版本:➜testgit:(dev)✗java-versionjavaversion"1.8.0_131"Java(TM)SERuntimeEnvironment(build1.8.0_131-b11)JavaHotSpot(TM)64-BitServerVM(build25.131-b11,mixedmode)我正在尝试运行以下简单的java程序,该程序使用hadoopmapreducefromhere提供文件中的字数统计.以下是完整的java代码:importorg.apache.hadoop.conf.Configuration;importorg.apache.had

hadoop - 如何使用 Pig 将不同的值存储在同一键的列表中

我有一个用例col1|col2a101|10a101|20a101|10a101|30a201|40a201|50预期输出:a101|列表a201|列表下面是查询,但我没有得到预期的输出。我想在列表中存储col2个不同的值。input1=load'list1.csv'usingPigStorage('|')as(col1:chararray,col2:int);input2=DISTINCT(FOREACHinput1generatecol1,col2);input3=GROUPinput2bycol1;dumpinput3;(a101,{(a101,30),(a101,20),(a1

java - 我也可以使用 hadoop jar 命令来运行普通的 java 程序吗?

我的Java代码中有一些hadoop文件系统操作(例如:hdfsmkdir)。当我尝试使用java-cp运行java程序时,该目录在linux本地文件系统中创建。所以我用hadoopjar命令运行程序,目录在hdfs中创建。现在我打算使用hadoopjar命令运行整个java程序。我想知道使用hadoopjar命令会不会有任何问题,尤其是在从本地文件夹读取文件或执行Runtime.getRuntime().exec(somelinuxcommand);以下代码片段时我的hdfs文件操作Configurationconf=newConfiguration();FileSystemfs=F

hadoop - TaskStatus 类有一个方法 getPhase()。它返回什么?(它们只是映射、随机播放、排序、减少吗?)

TaskStatusk=null;TaskStatus.PhaseCurrentPhase=k.getPhase();上面的代码是否正确,如果我想知道一个任务的当前阶段? 最佳答案 根据thisTaskPhase.getPhase可以返回以下任何值,具体取决于进程当前处于哪个阶段publicstaticenumPhase{STARTING,MAP,SHUFFLE,SORT,REDUCE,CLEANUP} 关于hadoop-TaskStatus类有一个方法getPhase()。它返回什么?

hadoop - aqua studio 上的 HIVe sql

我想返回所有有两个连字符的电话号码,例如:999-999-9999SELECTINSTR(phonenumber,'-',1,2),phonenumberFromphonetableWherelength(phonenumber)=11AndINSTR(phonenumber,'-')=1我想要返回电话号码,例如999-999-9999 最佳答案 select*fromphonetablewherephonenumberlike'___-___-____'或select*fromphonetablewherephonenumberr

hadoop - 是否可以保存 Hive UDTF 生成的值?

我创建了Hive自定义UDTF。我的新UDTF根据输入的2列返回新的3列。但是,我无法使用生成的值进行任何INSERT操作。例如,INSERTOVERWRITEDIRECTORY'generated_data.csv'SELECTudtf(one,two)FROMtable_orig;INSERTOVERWRITETABLEtest_tableSELECTudtf(one,two)FROMtable_orig;INSERT查询都返回NullPointerException,如下所示:2017-05-30T08:02:45,209ERROR[main([])]:exec.Task(:()

hadoop - 尝试用 HQL 中的变量替换 HIVE 字符串文字

您好,我有一个简单的创建表语句...setlocation_stage=${env:HDFS_STAGING_DIR};CREATEEXTERNALTABLEIFNOTEXISTSstage.test(TEST_IDINT,TEST_NAMESTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2.OpenCSVSerde'WITHSERDEPROPERTIES("separatorChar"=",","quoteChar"="\"","escapeChar"="\\")STOREDASTEXTFILELOCATION"${hivevar:

hadoop - hiveQL 中的嵌套选择

在我的一个用例中,我有两个表,即flow和conf。流表包含所有航类数据的列表。它有创建日期、数据文件名、飞机ID列。conf表包含配置信息。它有列configdate、aircraftid、configurationame。为一种飞机类型创建了多个版本的配置。因此,当我们处理一个数据文件名时,我们需要从流表中识别aircraftid,并从创建数据文件名之前创建的配置表中获取配置。所以,我试过了,FROM(SELECTF_FILE_CREATION_DATE,F_FILE_ARCHIVED_RELATIVE_PATH,F_FILE_ARCHIVED_NAME,K_AIRCRAFTfro

java - Hadoop facebook 共同的 friend 使用 mapreduce

我在hadoop(Java版本)中尝试使用mapreduce程序,从json文件中查找共同好友列表。json文件内容具有以下模式:{"name":"abc","id":123}[{"name":"xyz","id":124},{"name":"def","id":125},{"name":"cxf","id":155}]{"name":"cxf","id":155}[{"name":"xyz","id":124},{"name":"abc","id":123},{"name":"yyy","id":129}]模式解释如下:friendjson选项卡由相关friendjson数组分隔因此