草庐IT

SYSTEM_INFO

全部标签

java - 在 Reducer 中使用 System.setProperty()

我正在尝试在我的Reducer中设置一个Java系统属性java.util.Arrays.useLegacyMergeSort,以强制系统使用JDK6实现的Arrays.sort方法,而不是JDK8。packagescoring.devicestatus;importjava.io.IOException;importjava.text.SimpleDateFormat;importjava.util.ArrayList;importjava.util.Collections;importjava.util.Date;importjava.util.LinkedHashMap;impo

java - 在 Hadoop 上运行 MapReduce 字数统计会给出异常消息 : The system cannot find the path specified

这是我的第一个StackOverflow问题。我已经在伪分布式模式下设置了我的hadoop(2.9.2)单节点集群。当我尝试运行hadoopjarC:/MapReduceClient.jarwordcount/input_dir/output_dir时,我得到以下错误日志19/01/1620:19:17INFOclient.RMProxy:ConnectingtoResourceManagerat/0.0.0.0:803219/01/1620:19:18INFOinput.FileInputFormat:Totalinputfilestoprocess:119/01/1620:19:1

hadoop - org.apache.hadoop.security.AccessControlException : Permission denied: user=test-user, access=EXECUTE, inode ="system":hadoop:test-user:rwx------

以前测试用户曾经驻留在连接丢失的边缘服务器上。因此,我们重建了边缘服务器并一直在尝试启动并运行它,但我一直收到以下错误。Jobinitializationfailed:org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=test-user,access=EXECUTE,inode="system":hadoop:test-user:rwx------atsun.reflect.GeneratedC

java.sql.SQLException : Unknown system variable 'OPTION' 异常

我正在使用Ambari服务器安装MYSQL,以便在ubuntu上安装hadoop。我从Xampp安装了MySql,并且工作正常。MySQL5.6版本去掉了set`Option关键字,mariaDB(xampp自带)与之一致。网站显示兼容MySQL5.6版本,应该没问题。回应theonlyrelevantlinkIfound,当我检查我的sql版本时:mysql-vTheprogram'mysql'canbefoundinthefollowingpackages:*mysql-client-core-5.6*mariadb-client-core-10.0这就是我得到的。我相信链接中提到

python - 从 s3 ://to local(hadoop) file system 复制文件时出错

我正在尝试使用python将文件从s3复制到hadoop文件系统。我收到以下错误:cp:`foo/ds=2015-02-13/ip-d1b-request-2015-02-13_10-00_10-09.txt.gz':Nosuchfileordirectory我最近正在迁移最新的hadoop版本(2.4.0)。在版本(0.20)中工作正常。为什么我在2.4.0版本中会出现此错误?在Hadoop版本0.20中hadoop@ip-10-76-38-167:~$/home/hadoop/bin/hadoopfs-cps3://test.com/foo/ds=2015-02-13/ip-d1b

hadoop - yarn hadoop 2.4.0 : info message: ipc. 客户端重试连接到服务器

我已经搜索了两天的解决方案。但没有任何效果。首先,我是整个hadoop/yarn/hdfs主题的新手,想配置一个小型集群。每次运行mapreduce-examples.jar中的示例时,上面的消息都不会出现有时teragen有效,有时无效。在某些情况下整个工作失败,在其他情况下工作成功完成。有时作业会失败,而不会打印上面的消息。14/06/0815:42:46INFOipc.Client:Retryingconnecttoserver:FQDN-HOSTNAME/XXX.XX.XX.XXX:53022.Alreadytried2time(s);retrypolicyisRetryUpT

java - 为什么java action System.out 在Oozie 中执行时消失了?

我正在使用oozie环境。成功完成作业后,我无法在oozie日志中找到System.out.println输出。我用谷歌搜索了好几个小时,然后找到了this但没有结果。从oozieweb控制台我得到了作业ID“0000011-180801114827014-oozie-oozi-W”,然后我尝试使用以下命令获取有关该作业的更多信息:ooziejob-ooziehttp://localhost:11000/oozie/-info0000011-180801114827014-oozie-oozi-W然后我从JobCompleted"16546"操作中获取externalId,我认为作业I

hadoop - HBase 连接挂起在 INFO ClientCnxn - 服务器上的 session 建立完成

我正在尝试从我的eclipse连接到Hadoop(2.4)上的HBase(版本0.94.18)并在此之后进行连接。这只发生在我的本地机器上。代码在服务器上运行良好。有什么想法吗?INFOZooKeeper-Clientenvironment:user.dir=D:\eclipse\eclipse-jee-64\eclipseINFOZooKeeper-Initiatingclientconnection,connectString=11.45.66.78:2181sessionTimeout=180000watcher=hconnectionINFOClientCnxn-Opening

hadoop - 在配置单元配置 : Couldn't create directory ${system:java. io.tmpdir}\${hive.session.id}_resources 上应用授权策略时出错

我在Windows上运行Hadoop3.0.0-alpha1并向其中添加了Hive2.1.1。当我尝试使用hive命令打开配置单元直线时,出现错误:Errorapplyingauthorizationpolicyonhiveconfiguration:Couldn'tcreatedirectory${system:java.io.tmpdir}\${hive.session.id}_resources怎么了?我运行mysql作为Hive的元存储,并在HDFS中添加了所需的文件:hadoopfs-mkdir/user/hivehadoopfs-mkdir/user/hive/wareho

hadoop - hbase 错误 : "10/12/26 06:48:07 INFO ipc.HbaseRPC: Server at/127.0.0.1:58920 could not be reached after 1 tries, giving up."

有人知道hbase有什么问题吗?我正在为hadoop使用cloudera发行版的vm图像,以前它工作正常但现在当我尝试列出所有表时每秒都会给我这个错误:10/12/2606:48:07信息ipc.HbaseRPC:尝试1次后无法访问位于/127.0.0.1:58920的服务器,放弃。 最佳答案 我在Ubuntu11.10上遇到了同样的问题。默认安装在/etc/hosts中添加了一行,将我的机器主机名与IP127.0.1.1相关联。我将此链接更改为指向127.0.0.1,Hbase开始工作。此外,其他计算机上类似问题的解决方案要么禁用