草庐IT

CDH5部署三部曲之二：部署和设置

程序员欣宸 2023-03-28 原文

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

master机器上的设置

  • SSH登录master机器，执行以下操作：
  • 安装mariadb：
yum install mariadb-server
  • 启动mariadb服务，并设置为开机启动：
systemctl start mariadb && systemctl enable mariadb
  • 初始化数据库配置：
mysql_secure_installation
  • 按照控制台提示进行设置，主要是设置root账号的密码，以及允许root账号远程登录；
  • 登录mariadb：
mysql -u root -p123456
  • 给root的远程操作开放所有权限，并且刷新：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; flush privileges;
  • 创建parcel的本地仓库的文件夹，并且设置所有者和群组：
mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
  • 将前面下载好的三个文件放入目录 /opt/cloudera/parcel-repo ，这三个文件是： CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel 、 manifest.json 、 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1
  • 将 /opt/cloudera/parcel-repo 目录下的 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1 文件改名为 CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha （即：把后缀从sha1改成sha）
  • 接下来初始化CM数据，登录mariadb：
mysql -u root -p123456
  • 给temp账号赋予权限，并且刷新：
create user 'temp'@'%' identified by 'temp'; grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; flush privileges;
  • 退出mariadb交互；
  • 进入目录 /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/ ：
cd /opt/cloudera-manager/cm-5.7.2/share/cmf/schema/
  • 执行以下命令即可初始化CM的数据：
./scm_prepare_database.sh mysql temp -h master -utemp -ptemp --scm-host master scm scm scm
  • 提示操作成功：
  • 至此，master设置完毕，接下来设置worker1和worker2

worker1机器上的设置（worker2也这样设置）

  • 创建本地parcel缓存文件夹：
mkdir -p /opt/cloudera/parcels
  • 给文件夹赋权限：
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
  • worker1和worker2都做上述设置，接下来就可以启动CDH了。

启动server(master机器)

  • SSH登录master；
  • 进入启动命令所在目录：
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
  • 启动server：
./cloudera-scm-server start
  • 启动成功的提示信息如下：

启动agent(worker1和worker2机器)

  • SSH登录worker1；
  • 进入启动命令所在目录：
cd /opt/cloudera-manager/cm-5.7.2/etc/init.d/
  • 启动agent：
./cloudera-scm-agent start
  • 启动成功的提示信息如下：

  • 然后登录worker2，重复上述操作；

  • 至此，CDH部署和启动完成，可以开始设置了；

设置CDH

  • 浏览器访问地址： http://192.168.133.154:7180 ，会提示登录，账号和密码都是 admin ：

  • 接下来的页面是许可条款，选择接受后进入选择版本的页面，我这里选择的是试用版，如下图：

  • 即将部署多个服务：

  • 进入选择机器的页面，如下图红框所示，将worker1和worker2都勾选上：

  • parcel设置，如下所示：

  • 由于之前已经将parcel文件下载到master机器上，因此下载安装包的进度一开始就是百分之百，耐心等待后面的分配、解压、激活等步骤自动完成：

  • 集群安装完成，如下图，可以按照提示进行优化：

  • 部署服务，这里我选择了所有服务：

  • 角色设置页面，将没有分配主机的服务分配到某一台机器上，我这里都选择了worker1：

  • 数据库的设置页面，由于只在master安装了mysql，所有我这里全部填写的是master：

  • 详细的设置页面，请按照实际情况设置：

  • 开始启动各个服务，等待完成：

  • 所有服务正常后，状态页面如下图所示：

  • 至此，CDH5部署和启动都已完成，但实际的启动过程并非一帆风顺，HDFS、Hive等服务都可能启动失败，下一篇文章会将这些问题以及解决方法都列出来；

欢迎关注51CTO博客：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

三部曲CDH5licodex-oss-processclouderaCDH大数据Hadoop大数据yyds干货盘点

有关CDH5部署三部曲之二：部署和设置的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby-openid:执行发现时未设置@socket - 2

    我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时，我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb，在下面的代码片段中:moduleNetclass

  3. ruby-on-rails - 如何使用 instance_variable_set 正确设置实例变量？ - 2

    我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用？ 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击

  4. ruby-on-rails - date_field_tag，如何设置默认日期？ [ rails 上的 ruby ] - 2

    我想设置一个默认日期，例如实际日期，我该如何设置？还有如何在组合框中设置默认值顺便问一下，date_field_tag和date_field之间有什么区别？ 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag，如何设置默认日期？[rails上的ruby]，我们在StackOverflow上找到一个类似的问

  5. ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  6. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  7. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器？ - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度，让我可以显示上传进度如何？ 最佳答案 CarrierWave和Fog本身没有这种功能；你需要一个前端uploader来显示进度。当我不得不解决这个问题时，我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  8. ruby-on-rails - Ruby on Rails 可以部署在 Azure 网站上吗？ - 2

    我可以在Azure网站上部署RubyonRails吗？ 最佳答案 还没有。目前仅支持.NET和PHP。 关于ruby-on-rails-RubyonRails可以部署在Azure网站上吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/12964010/

  9. jenkins部署1--jenkins+gitee持续集成 - 2

    前置步骤我们都操作完了，这篇开始介绍jenkins的集成。话不多说，看操作1、登录进入jenkins后会让你选择安装插件，选择第一个默认的就行。安装完成后设置账号密码，重新登录。2、配置JDK和Git都需要执行路径，所以需要先把执行路径找到，先进入服务器的docker容器，2.1JDK的路径root@69eef9ee86cf:/usr/bin#echo$JAVA_HOME/usr/local/openjdk-82.2Git的路径root@69eef9ee86cf:/#whichgit/usr/bin/git3、先配置JDK和Git。点击：ManageJenkins>>GlobalToolCon

  10. 深度学习部署：Windows安装pycocotools报错解决方法 - 2

    深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

随机推荐