草庐IT

SITE_ROOT

全部标签

hadoop - clr配额 : Cannot clear namespace quota on root

我可以在Hadoop中设置根目录的配额hdfsdfsadmin-setQuota3但我无法使用清除根目录的配额hdfsdfsadmin-clrQuota/**它给了clrQuota:Cannotclearnamespacequotaonroot. 最佳答案 我没有找到解决这个问题的方法。ApacheHadoop社区提供了多个补丁,但我不知道如何应用这些补丁。临时用途。我们可以延长/的配额限制。这是唯一可能的解决方案。如果您使用的是HDP,则Hortonworks将为您提供补丁以及安装说明。但现在对此无能为力。我遇到了同样的问题。

hadoop - 无法编辑 hbase-site.xml

我正在使用独立的HBase,因此需要按照-get"ERROR:Can'tgetmasteraddressfromZooKeeper;znodedata==null"whenusingHbaseshell中提供的建议从hbase-site.xml中删除一些属性文件。但是当我尝试编辑“hbase-site.xml”文件时,它说只有读取级别的权限。如何解决? 最佳答案 默认情况下,hbase-site.xml只允许hbase/root用户有写权限,所有其他用户只有读权限。以下是具有权限的示例文件。-rw-r--r--1hbasehadoo

java - Flink 1.7.1 无法通过 core-site.xml 验证 s3a

使用Flink1.7.1为kubernetes上的单个作业集群构建它flink无法加载核心站点xml尽管在类路径上,导致忽略配置,但是,如果我将ENV变量AWS_SECRET_ACCESS_KEYAWS_ACCESS_KEY_ID工作找到它,但如果我依赖于core-site.xml,那么没有环境变量它就永远无法工作。我目前正在复制core-site.xml,因为它显示在Dockerfile中,并且正如文档所说,将HADOOP_CONF_DIR作为指向它的环境变量。它仍然不加载它,导致NoCredentialsProvider。异常(exception)是:Causedby:org.ap

hadoop - 如果没有 hive-site.xml 文件,配置单元如何运行?

我正在尝试在本地设置配置单元。我启动了所有Hadoop进程并设置了{hive}/bin路径。在命令提示符下,我可以运行配置单元命令、创建和读取表。我的问题是-1)hive-site.xml是可选文件吗?2)在没有hive-site.xml文件的情况下,hive如何获取regradingmetastore等配置的信息? 最佳答案 如果您从安装了Hadoop的本地计算机运行Hive查询,则不需要hive-site.xml,因为您直接与hive/bin对话在Hive安装目录中。您无需告诉Hive在哪里可以找到Hive。如果您想从另一台机器

java - 没有 root 权限的 Hadoop 字数统计示例

我试图在没有root权限的Linux机器上运行这个hadoop字数统计示例。不过,我一直收到此错误。13/08/2716:00:08ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:priyankaracause:org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.mapred.JobTrackerNotYetInitializedException:JobTrackerisnotyetRUNNINGatorg.apache.hadoop.mapre

java - 错误 : org. apache.hadoop.security.AccessControlException : Permission denied: user=root, access=READ_EXECUTE,

我在CentOS6机器上使用的是hadoop-1.2.1版本,并且已经配置好,它运行成功,我还在Eclipsekepler中安装了hadoop的插件,但不幸的是我得到了一个权限被拒绝的错误,我有如图所示,我试图通过阅读许多博客来解决这个问题,但我仍然被困在那里..有人可以解决这个问题吗? 最佳答案 我从您的问题中了解到,我想您正在使用操作系统的“root”登录以启动Hadoop。我建议重新启动您的系统并从“Hadoop”(在用户列表中给出,例如root、Guest、Hadoop)登录,然后启动Hadoop。然后它就会工作。

hadoop - hdfs-site.xml 用于添加新的数据节点

我已经在伪分布式模式下安装了hadoop2.7.2(machine-1)。我想向它添加一个新的数据节点以使其成为一个集群。作为,但问题是两台机器都有不同的磁盘分区。我在新的数据节点(machine-2)中安装了相同版本的hadoop2.7.2,也可以与machine-1ssh。在谷歌搜索了很多网站之后,都有共同的教程提到,我们必须在里面有相同的配置文件/etc/hadoop/文件夹。综上所述,我在machine-1中的现有配置是:核心站点.xmlhadoop.tmp.dir/home1/tmpAbaseforothertemporarydirectoriesfs.default.nam

hadoop - 在 spark-submit 执行时覆盖 core-site.xml 属性值

有没有办法在执行sparksubmit时覆盖core-site属性值?我可以在spark-env.sh中使用HADOOP_CONF_DIR变量来指向一个新的核心站点文件,但我只想覆盖几个值以便为每个spark作业使用不同的存储帐户。 最佳答案 找到了我自己问题的答案。hadoop相关的配置可以通过预先固定“spark.hadoop”到属性键来覆盖,然后提交给sparkconf。即Spark提交--sparkconfspark.hadoop.io.file.buffer.size12952查看源代码:https://github.co

hadoop - Hue/Hive 用户 root 不允许冒充 Hue

情况:我在不同的Docker容器中设置了Hive、Hue和Hadoop。在同一个Docker网络中。我为每个1个Hadoop名称节点、2个数据节点、1个Hue实例、1个Hive服务器和一个PostgresMetastore创建了一个容器。我能够在namenode的hdfs-site.xml中配置一个hue代理用户,并且可以通过webhdfs浏览文件系统。然而,对于Hive,我在Hue中得到了错误:Failedtoopennewsession:java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apac

hadoop - 普通身份验证失败 : User yarn is not configured for any impersonation. impersonationUser:alluxio mapreduce 中的 root

Causedby:org.apache.thrift.transport.TTransportException:Plainauthenticationfailed:Useryarnisnotconfiguredforanyimpersonation.模拟用户:root当我使用alluxio在本地运行wordcount程序时它工作正常。我也通过了集成测试,但是当我使用alluxio客户端jar运行相同的Hadoop程序时它给我一个错误bin/hadoopjar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarwordcount