草庐IT

hadoop - Hive 没有完全遵守 core-site.xml 中的 fs.default.name/fs.defaultFS 值

coder 2024-01-07 原文

我在一台名为 hadoop 的机器上安装了 NameNode 服务。

core-site.xml 文件的 fs.defaultFS(等同于 fs.default.name)设置如下: 

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop:8020</value>
</property>

我有一个名为 test_table 的非常简单的表，它当前存在于 HDFS 上的 Hive 服务器中。即存放在/user/hive/warehouse/test_table下。它是在 Hive 中使用一个非常简单的命令创建的:

CREATE TABLE new_table (record_id INT);

如果我尝试将数据加载到本地表中(即使用 LOAD DATA LOCAL)，一切都会按预期进行。但是，如果数据存储在 HDFS 上并且我想从那里加载，则会出现问题。

我运行一个非常简单的查询来尝试加载:

hive> LOAD DATA INPATH '/user/haduser/test_table.csv' INTO TABLE test_table;

这样做会导致以下错误:

FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal ''/user/haduser/test_table.csv'':
Move from: hdfs://hadoop:8020/user/haduser/test_table.csv to: hdfs://localhost:8020/user/hive/warehouse/test_table is not valid.
Please check that values for params "default.fs.name" and "hive.metastore.warehouse.dir" do not conflict.

如错误所述，它正在尝试从 hdfs://hadoop:8020/user/haduser/test_table.csv 移动到 hdfs://localhost:8020/user/配置单元/仓库/test_table。第一个路径是正确的，因为它引用了 hadoop:8020；第二个路径不正确，因为它引用了 localhost:8020。

core-site.xml 文件明确声明要使用 hdfs://hadoop:8020。 hive-site.xml 中的 hive.metastore.warehouse 值正确指向 /user/hive/warehouse。因此，我怀疑此错误消息是否具有任何真实值(value)。

如何让Hive服务器在建表时使用正确的NameNode地址？

最佳答案

我发现 Hive Metastore 跟踪每个表的位置。您可以在 Hive 控制台中看到该位置正在运行以下内容。

hive> DESCRIBE EXTENDED test_table;

因此，如果在 Metastore 服务仍在运行时更改了 core-site.xml 中的 NameNode，则会出现此问题。因此，要解决此问题，应在该计算机上重新启动服务:

$ sudo service hive-metastore restart

然后，元存储将为新创建的表使用新的 fs.defaultFS。

已经存在的表

可以通过运行以下命令集来更正已存在的表的位置。这些是从 Cloudera 获得的 documentation配置 Hive 元存储以使用高可用性。

$ /usr/lib/hive/bin/metatool -listFSRoot
...
Listing FS Roots..
hdfs://localhost:8020/user/hive/warehouse
hdfs://localhost:8020/user/hive/warehouse/test.db

更正 NameNode 位置:

$ /usr/lib/hive/bin/metatool -updateLocation hdfs://hadoop:8020 hdfs://localhost:8020

现在列出的 NameNode 是正确的。

$ /usr/lib/hive/bin/metatool -listFSRoot
...
Listing FS Roots..
hdfs://hadoop:8020/user/hive/warehouse
hdfs://hadoop:8020/user/hive/warehouse/test.db

关于hadoop - Hive 没有完全遵守 core-site.xml 中的 fs.default.name/fs.defaultFS 值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19431074/

core-sitedefaultFScodetest_tablehivehadoopcloudera

有关hadoop - Hive 没有完全遵守 core-site.xml 中的 fs.default.name/fs.defaultFS 值的更多相关文章

  1. ruby-on-rails - Ruby on Rails : . 常量化 : wrong constant name error? - 2

    我正在使用这个:4.times{|i|assert_not_equal("content#{i+2}".constantize,object.first_content)}我之前声明过局部变量content1content2content3content4content5我得到的错误NameError:wrongconstantnamecontent2这个错误是什么意思？我很确定我想要content2=\ 最佳答案 你必须用一个大字母来调用ruby​​常量:Content2而不是content2。Aconstantnamestart

  2. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  3. ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务？ - 2

    如何使用RSpec::Core::RakeTask初始化RSpecRake任务？require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录；它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake

  4. ruby-on-rails - 更好的替代方法 try( :output). try( :data). try( :name)? - 2

    “输出”是一个序列化的OpenStruct。定义标题try(:output).try(:data).try(:title)结束什么会更好？:) 最佳答案 或者只是这样:deftitleoutput.data.titlerescuenilend 关于ruby-on-rails-更好的替代方法try(:output).try(:data).try(:name)?，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.c

  5. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  6. Hive SQL 五大经典面试题 - 2

    目录第1题连续问题分析：解法：第2题分组问题分析：解法：第3题间隔连续问题分析：解法：第4题打折日期交叉问题分析：解法：第5题同时在线问题分析：解法：第1题连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量iddtlowcarbon10012021-12-1212310022021-12-124510012021-12-134310012021-12-134510012021-12-132310022021-12-144510012021-12-1423010022021-12-154510012021-12-1523.......找出连续3天及以上减少碳排放量在100以上的用户分析：遇到这类

  7. ruby - __FILE__ == $PROGRAM_NAME 在 ruby​​ 中是什么意思？ - 2

    这个问题在这里已经有了答案:Whatdoes`if__FILE__==$0`meaninRuby(6个答案)关闭6年前。我在审查Ruby代码时偶然发现了这个语法。代码是:if__FILE__==$PROGRAM_NAME#somecode...end我想__FILE__是一个变量，可以让我获取我所在文件的名称？但是$PROGRAM_NAME简化了什么？另外，为什么这个if语句是必需的，因为程序可以使用或不使用它？

  8. ruby-on-rails - 缺失区域；使用 :region option or export region name to ENV ['AWS_REGION' ] - 2

    我知道还有其他相同的问题，但他们没有解决我的问题。我不断收到错误:Aws::Errors::MissingRegionErrorinBooksController#create,缺少区域；使用:region选项或将区域名称导出到ENV['AWS_REGION']。但是，这是我的配置开发.rb:config.paperclip_defaults={storage::s3,s3_host_name:"s3-us-west-2.amazonaws.com",s3_credentials:{bucket:ENV['AWS_BUCKET'],access_key_id:ENV['AWS_ACCE

  9. ruby 代码 : why put colon in front of variable name (inside initialize method) - 2

    我遇到了一些Ruby代码，我试图理解为什么变量在initialize方法声明中的名称末尾有冒号。冒号有什么原因吗？attr_reader:var1,:var2definitialize(var1:,var2:)@var1=var1@var2=var2end 最佳答案 那些是关键字参数。您可以按名称而非位置使用它们。例如ThatClass.new(var1:42,var2:"foo")或ThatClass.new(var2:"foo",var1:42)Anarticleaboutkeywordargumentsbythoughtbot

  10. ruby-on-rails - ruby rails : How do you prefix named routes? - 2

    我希望生成一个链接，该链接的前缀附加到命名路由本身。像这样显示路径“/old/recipes”:recipes_path(:prefix=>"old/")#thecorrectwayshouldshow"/old/recipes"我不想动routes.rb文件，而是修改带前缀的命名路由。这可能吗？您将如何正确地做到这一点？编辑:我正在使用Rails3。添加可选前缀的原因是我也想使用普通的recipes_path。所以我想同时使用“/recipes”和“/old/recipes”。 最佳答案 如果您不想触及路由文件，您将会遇到很多麻烦

随机推荐