草庐IT

hadoop - 错误 terasort.TeraSort : Input path does not exist: maprfs:/user/user01/–DXmx1024m

coder 2024-01-09 原文

在通过修改参数运行 terasort 应用程序时，我收到以下错误。

15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m

我正在运行用于执行慢跑的命令

$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
-Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2

如果我删除这些参数 –DXmx1024m –Dmapred.reduce.tasks=2 -Dio.sort.mb=1 那么一切正常。

我想我正面临以下发布在 jira 上的错误，但它适用于 Windows https://issues.apache.org/jira/browse/HADOOP-8536

最佳答案

这只是 MapR LAB GUIDE 中的复制/粘贴问题。

只需将 VM 输入参数中的 '–' 更改为 '-'。

通过复制/粘贴查看执行情况:

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-\
> examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2 \
> -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:24:57 INFO terasort.TeraSort: starting
15/10/26 15:24:59 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m
-bash-4.1$

查看固定命令行的执行情况:

-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar terasort -DXmx1024m -Dmapred.reduce.tasks=2 -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:25:26 INFO terasort.TeraSort: starting
15/10/26 15:25:27 INFO input.FileInputFormat: Total input paths to process : 2
....

关于hadoop - 错误 terasort.TeraSort : Input path does not exist: maprfs:/user/user01/–DXmx1024m，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30431479/

userTeraSorthadoopmapr

有关hadoop - 错误 terasort.TeraSort : Input path does not exist: maprfs:/user/user01/–DXmx1024m的更多相关文章

  1. ruby - 在 Ruby 中实现 `call_user_func_array` - 2

    我怎样才能完成http://php.net/manual/en/function.call-user-func-array.php在ruby中？所以我可以这样做:classAppdeffoo(a,b)putsa+benddefbarargs=[1,2]App.send(:foo,args)#doesn'tworkApp.send(:foo,args[0],args[1])#doeswork,butdoesnotscaleendend 最佳答案 尝试分解数组App.send(:foo,*args)

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - 禁用设备的 :confirmable on-the-fly to batch-generate users - 2

    Devise是一个Ruby库，它为我提供了这个User类:classUser当写入:confirmable时，注册时会发送一封确认邮件。上周我不得不批量创建300个用户，所以我在恢复之前注释掉了:confirmable几分钟。现在我正在为用户批量创建创建一个UI，因此我需要即时添加/删除:confirmable。(我也可以直接修改Devise的源码，但我宁愿不去调和它)问题:如何即时添加/删除:confirmable？ 最佳答案 WayneConrad的解决方案:user=User.newuser.skip_confirmation

  4. ruby-on-rails - 致命 : Peer authentication failed for user "rails" - 2

    我正在尝试运行rakedb:create在DigitalOcean服务器上使用postgresql。但是，它返回错误Peerauthenticationfailedforuser"rails"，引用config/database.yml登录凭据的存储位置奇怪的是，当我通过SSH登录服务器时，这些凭据以纯文本形式显示给我。我都试过了密码以纯文本形式显示给我，同样的事情发生了。环境在生产中，我必须手动强制执行，因为应用程序在启动时正在开发中并强制它在config/environments.rb中更改不工作。如果我不得不猜测，我可能会说环境中发生了一些有趣的事情，因为DigitalOcean

  5. ruby-on-rails - 获取 ActionController::RoutingError(当尝试使用 AngularJS 将数据发布到 Rails 服务器时，没有路由匹配 [OPTIONS] "/users" - 2

    尝试从我的AngularJS端将数据发布到Rails服务器时出现问题。服务器错误:ActionController::RoutingError(Noroutematches[OPTIONS]"/users"):actionpack(4.1.9)lib/action_dispatch/middleware/debug_exceptions.rb:21:in`call'actionpack(4.1.9)lib/action_dispatch/middleware/show_exceptions.rb:30:in`call'railties(4.1.9)lib/rails/rack/logg

  6. ruby-on-rails - Rails 4.1 Devise 3.3 列 users.password 不存在 - 2

    我想通过控制台手动创建一个用户:User.find_or_create_by(email:"user@mail.com",first_name:"Stan",last_name:"Smith",password:"password",password_confirmation:"password",confirmed_at:Time.now)我在过去的项目中多次这样做，但这次没有用。它没有获取Devise密码模型属性，所以这是我得到的错误:PG::UndefinedColumn:ERROR:columnusers.passworddoesnotexist我有Rails4.1.4和Dev

  7. ruby - @users 变量为空。忘记为 will_paginate 传递集合对象？ - 2

    问题localhost:3000/users/不会显示我谦虚地进入，因为我是第一次尝试通过Rails教程。我在第10章，我已经花了5个小时解决这个问题。当我尝试访问localhost:3000/users/时出现错误(我相信这与factory_girl有关)解释了@users变量为空并且我忘记了为will_paginate传递一个集合对象。我目前在第10章第10.23节，每次运行时:$bundleexecrakedb:reset$bundleexecrakedb:populate$bundleexecrakedb:test:prepare我在解释时遇到错误rakeaborted!Fac

  8. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  9. ruby-on-rails - after_save 回调将 updated_by 列设置为 current_user - 2

    我想使用after_save回调将updated_by列设置为current_user。但是current_user在模型中不可用。我应该怎么做？ 最佳答案 需要在controller中处理。首先在模型上执行保存，然后如果成功则更新记录字段。例子classMyController另一种选择(我更喜欢这个)是在您的模型中创建一个自定义方法来包装逻辑。例如classRecord 关于ruby-on-rails-after_save回调将updated_by列设置为current_user，我

  10. ruby - Heroku，设计 : Getting 'NoMethodError (undefined method ` to_key' for :user:Symbol)' - 2

    我不知道它是什么时候发生的，但我收到了这个错误NoMethodError(undefinedmethod'to_key'for:user:Symbol)此行为仅发生在HerokuCedar堆栈上。我使用Devise(1.4.2)通过FacebookonRails3.1.0.rc6和ruby​​1.9.2-p290进行身份验证。它发生在sign_in_and_redirect(:user,authentication.user)行。这是我的方法:defcreateomniauth=request.env['omniauth.auth']authentication=Authenticat

随机推荐