草庐IT

离线数仓-伪分布虚拟机 (所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)

坤坤不爱吃鱼 2023-04-03 原文

离线数仓-伪分布虚拟机(所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)

所有组件部署好的镜像下载(在下面),仅供参考学习。(百度网盘,微云下载…)

博主通过学习尚硅谷数仓项目,将部署好的数仓虚拟机打包成ovf文件,由于博主电脑内存较小,博主使用了伪分布式集群搭建,全流程运行成功。分享虚拟机镜像文件给予大家学习。搭建数仓只需一台虚拟机,且最低配置(内存:3G,磁盘:20G,CUP:1,Linux最小化安装)

导入镜像的前提设置

记得跟博主设置一样的IP不然可能会出现集群无法使用

修改虚拟机IP

根据下图参考修改

镜像ovf文件的导入

VMware导入ova/ovf虚拟机文件

镜像ovf下载(将下载的所有文件,放在同一个文件夹下)

数仓4.0(已上传)

架构图

注意没学完数仓4.0的Kerberos(视频的P167及其之后视频),数仓4.0启动不了(可选择学完或使用数仓3.0)

视频链接地址

尚硅谷大数据电商数仓V4.0

部署好的虚拟机镜像下载

数仓4.0镜像-百度网盘下载
提取码: yyds

虚拟机描述(账号密码)

数仓4.0
系统:CentOS 7.5
主机名:warehouse
IP:192.168.88.103
Linux:root:root atguigu:atguigu
Mysql:root:000000 azkaban:azkaban ranger:ranger
Azkaban:atguigu:atguigu
Kylin:ADMIN:KYLIN
Superset:root:root
Zabbix:Admin:zabbix
Grafana:admin:admin
Kerberos:admin:admin atguigu:atguigu hdfs/hadoop:hdfs
Ranger:admin:atguigu123
Atlas:admin:admin

数仓3.0(已上传)

架构

视频链接地址

尚硅谷大数据电商数仓V3.0

部署好的虚拟机镜像下载

数仓3.0镜像-百度网盘下载
密码:yyds

操作演示地址

离线数仓3(伪分布)—运行结果预览

虚拟机描述(账号密码)

数仓3.0
系统:CentOS 7.9
主机名:servers
IP:192.168.88.102
Linux:root:123456
Mysql:root:123456     azkaban:123456
Kafka:admin:123456
Kylin:ADMIN:KYLIN
Superset:servers:servers
Azkaban:servers:servers
Zabbix:Admin:zabbix

数仓2.0(已上传)

架构

视频链接地址

尚硅谷大数据电商数仓V2.0

部署好的虚拟机镜像下载

数仓2.0镜像-百度网盘下载
密码:yyds

虚拟机描述(账号密码)

数仓2.0
系统:CentOS6.8
主机名:cluster
IP:192.168.88.101
Linux:root:123456
Mysql:root:123456
Azkaban:admin:admin
Superset:admin:admin
Kylin:ADMIN:KYLIN
Zabbix:Admin:zabbix
Atlas:admin:admin

CDH数仓(已上传)

架构

注意:伪分布内存较少(CDH的资源监控无法正常显示)

视频链接地址

尚硅谷大数据CDH电商数仓

部署好的虚拟机镜像下载

CDH数仓镜像-百度网盘下载
提取码: yyds

虚拟机描述(账号密码)

CDH
CentOS6.8
Linux:root:123456
mysql:root:000000
Cloudera Manager:admin:admin
Hue:admin:admin  yarn:yarn

如有问题可在评论区评论,博主会及时回复

有关离线数仓-伪分布虚拟机 (所有组件部署完成,全流程运行成功)(数仓4.0-2.0,CDH)的更多相关文章

  1. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串? - 2

    我试图获取一个长度在1到10之间的字符串,并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符,然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序,但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目,就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身,只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导,因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身,并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - 跳过状态机方法的所有验证 - 2

    当我的预订模型通过rake任务在状态机上转换时,我试图找出如何跳过对ActiveRecord对象的特定实例的验证。我想在reservation.close时跳过所有验证!叫做。希望调用reservation.close!(:validate=>false)之类的东西。仅供引用,我们正在使用https://github.com/pluginaweek/state_machine用于状态机。这是我的预订模型的示例。classReservation["requested","negotiating","approved"])}state_machine:initial=>'requested

  4. ruby - Nokogiri 剥离所有属性 - 2

    我有这个html标记:我想得到这个:我如何使用Nokogiri做到这一点? 最佳答案 require'nokogiri'doc=Nokogiri::HTML('')您可以通过xpath删除所有属性:doc.xpath('//@*').remove或者,如果您需要做一些更复杂的事情,有时使用以下方法遍历所有元素会更容易:doc.traversedo|node|node.keys.eachdo|attribute|node.deleteattributeendend 关于ruby-Nokog

  5. ruby - 如何验证 IO.copy_stream 是否成功 - 2

    这里有一个很好的答案解释了如何在Ruby中下载文件而不将其加载到内存中:https://stackoverflow.com/a/29743394/4852737require'open-uri'download=open('http://example.com/image.png')IO.copy_stream(download,'~/image.png')我如何验证下载文件的IO.copy_stream调用是否真的成功——这意味着下载的文件与我打算下载的文件完全相同,而不是下载一半的损坏文件?documentation说IO.copy_stream返回它复制的字节数,但是当我还没有下

  6. ruby - 获取模块中定义的所有常量的值 - 2

    我想获取模块中定义的所有常量的值:moduleLettersA='apple'.freezeB='boy'.freezeendconstants给了我常量的名字:Letters.constants(false)#=>[:A,:B]如何获取它们的值的数组,即["apple","boy"]? 最佳答案 为了做到这一点,请使用mapLetters.constants(false).map&Letters.method(:const_get)这将返回["a","b"]第二种方式:Letters.constants(false).map{|c

  7. ruby - 分布式事务和队列,ruby,erlang,scala - 2

    我有一个涉及多台机器、消息队列和事务的问题。因此,例如用户点击网页,点击将消息发送到另一台机器,该机器将付款添加到用户的帐户。每秒可能有数千次点击。事务的所有方面都应该是容错的。我以前从未遇到过这样的事情,但一些阅读表明这是一个众所周知的问题。所以我的问题。我假设安全的方法是使用两阶段提交,但协议(protocol)是阻塞的,所以我不会获得所需的性能,我是否正确?我通常写Ruby,但似乎Redis之类的数据库和Rescue、RabbitMQ等消息队列系统对我的帮助不大——即使我实现某种两阶段提交,如果Redis崩溃,数据也会丢失,因为它本质上只是内存。所有这些让我开始关注erlang和

  8. ruby-on-rails - 如何在 Ruby on Rails 中实现由 JSF 2.0 (Primefaces) 驱动的 UI 魔法 - 2

    按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。问题1)我想知道ruby​​onrails是否有功能类似于primefaces的gem。我问的原因是如果您使用primefaces(http://www.primefaces.org/showcase-labs/ui/home.jsf),开发人员无需担心javascript或jquery的东西。据我所知,JSF是一个规范,基于规范的各种可用实现,prim

  9. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  10. kvm虚拟机安装centos7基于ubuntu20.04系统 - 2

    需求:要创建虚拟机,就需要给他提供一个虚拟的磁盘,我们就在/opt目录下创建一个10G大小的raw格式的虚拟磁盘CentOS-7-x86_64.raw命令格式:qemu-imgcreate-f磁盘格式磁盘名称磁盘大小qemu-imgcreate-f磁盘格式-o?1.创建磁盘qemu-imgcreate-fraw/opt/CentOS-7-x86_64.raw10G执行效果#ls/opt/CentOS-7-x86_64.raw2.安装虚拟机使用virt-install命令,基于我们提供的系统镜像和虚拟磁盘来创建一个虚拟机,另外在创建虚拟机之前,提前打开vnc客户端,在创建虚拟机的时候,通过vnc

随机推荐