草庐IT

Hadoop - 重启datanode和tasktracker

coder 2024-01-05 原文

我想关闭单个数据节点和 tasktracker,以便我在 mapred-site.xml 中所做的一些新更改生效,例如 mapred.reduce.child.java.opts 等。我该怎么做去做?但是我不想关闭整个集群,因为我有正在运行的作业。

另外,如何确保名称节点不会将“暂时关闭”数据节点的相关数据 block 复制到另一个节点上

最佳答案

停止

您可以从 NameNode 的 hadoop bin 目录中停止 DataNode 和 TaskTracker。

./hadoop-daemon.sh stop tasktracker 
./hadoop-daemon.sh stop datanode

所以这个脚本检查hadoop的conf目录下的slaves文件来停止DataNodes,TaskTracker也一样。

开始

此脚本再次检查 hadoop 的 conf 目录中的 slaves 文件以启动 DataNodes 和 TaskTracker。

./hadoop-daemon.sh start tasktracker
./hadoop-daemon.sh start datanode

关于Hadoop - 重启datanode和tasktracker,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20208696/

有关Hadoop - 重启datanode和tasktracker的更多相关文章

  1. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  2. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  3. hadoop安装之保姆级教程(二)之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的,针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜,提出了全新的资源管理框架YARN. ApacheYARN(YetanotherResourceNegotiator的缩写)是Hadoop集群的资源管理系统,负责为计算程序提供服务器计算资源,相当于⼀个分布式的操作系统平台,⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现,但是因为具有⾜够的通⽤性,同样可以⽀持其他的分布式计算模

  4. ruby - 是否可以在 Unicorn master 完成重启时发送通知? - 2

    我在nginx+unicorn后面运行一系列Rails/Sinatra应用程序,零停机部署。我喜欢这个设置,但Unicorn需要一段时间才能完成重新启动,所以我想在完成时发送某种通知。我能在Unicorn文档中找到的唯一回调与workerfork相关,但我认为这些回调对此不起作用。这是我从赏金中寻找的东西:老unicorn主人启动新主人,然后新主人开始它的worker,然后旧主人停止它的worker并让新主人接管。我想在交接完成后执行一些ruby​​代码。理想情况下,我不想为此实现任何复杂的流程监控。如果这是唯一的方法,那就这样吧。但在走那条路之前,我正在寻找更简单的选择。

  5. ruby-on-rails - 如何从 Rails 中重启 Rails? - 2

    好的,所以我想在Rails中创建一个Action来重新启动它自己。我做了一些搜索,发现:http://snippets.dzone.com/posts/show/5002建议使用2个命令,一个停止,另一个重新启动。以下杀戮:ps-a|grep"/usr/local/bin/rubyscript/server"|grep-v"grep/usr"|cut-d""-f1|xargs-n1kill-KILL$1-HUP信号没有为我重新启动,所以我试图破坏上面的命令(调整后命令可以很好地适应我在Ubuntu下启动服务器的方式):ps-eaf|grep"rubyscript/server"|gre

  6. 大数据之Hadoop数据仓库Hive - 2

    目录:一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库,它可以将结构化的数据文件映射成表,并提供类SQL查询功能,用于查询的SQL语句会被转化为MapReduce作业,然后提交到Hadoop上运行。特点:简单、容易上手(提供了类似sql的查询语言hql),使得精通sql但是不了解Java编程的人也能很好地进行大数据分析;灵活性高,可以自定义用户函数(UDF)和

  7. ruby-on-rails - Rails 3.2.11 突然需要重启到 'acknowledge' Controller 有什么变化吗? - 2

    标题说明了一切。请注意,这不是模型或初始值设定项的更改。我可以删除Controller中的一个实例变量(例如,@user),然后重新加载一个View,它会工作-直到我重新启动服务器,在这种情况下它会提示变量为nil。我正常工作,然后切换到一组完全不同的Controller和View上工作,现在它无缘无故地发生了。应用处于开发环境中。development.rb内容:Dashboard::Application.configuredoconfig.cache_classes=falseconfig.whiny_nils=trueconfig.consider_all_requests_l

  8. Ubuntu下Hadoop的单机安装 - 2

            云计算实验中要求我们在Linux系统安装Hadoop,故来做一个简单的记录。· 注:我的操作系统环境是Ubuntu-20.04.3,安装的JDK版本为jdk1.8.0_301,安装的Hadoop版本为hadoop2.7.1。(不确定其他版本是否会出现版本兼容问题)Hadoop安装步骤如下:        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim

  9. MAC系统安装Hadoop - 2

    一、设置免密登录1、系统偏好设置-----共享----勾选远程登录,所有用户2、打开终端,输入命令ssh-keygen-trsa,一直回车即可2.查看生成的公钥和私钥    cd~/.ssh    ls会看到~/.ssh目录下有两个文件:①私钥:id_rsa②公钥:id_rsa.pub3.将公钥内容写入到~/.ssh/authorized_keys中    cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys4.测试在terminal终端输入 sshlocalhost如果出现以下询问输入yes,不需要输入密码就能登录,说明配置成功Areyousureyouw

  10. ruby - 使用 Capistrano 3.x 启动或重启 Unicorn - 2

    当我执行capproductiondeploy时,我正在尝试启动或重新启动Unicorn使用Capistrano3.0.1。我有一些使用Capistrano2.x的例子:namespace:unicorndodesc"Startunicornforthisapplication"task:startdorun"cd#{current_path}&&bundleexecunicorn-c/etc/unicorn/myapp.conf.rb-D"endend但是当我尝试使用run时在deploy.rb对于Capistrano3.x,我得到一个未定义的方法错误。以下是我尝试过的一些事情:#w

随机推荐