草庐IT

大数据Hadoop之——Hadoop图形化管理系统Hue（Hue环境部署）

技术栈 2023-03-28 原文

目录

一、概述

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。

Hue官方网站：https://gethue.com/
官方文档：http://cloudera.github.io/hue/latest/
GitHub：https://github.com/cloudera/hue

二、Hue架构

从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。


从上图可以看出，Hue几乎可以支持所有大数据框架，包含有HDFS文件系统对的页面(调用HDFS API，进行增删改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式连接，可以在页面上编写HQL语句，进行数据分析查询)，YARN监控及Oozie工作流任务调度页面等等。Hue通过把这些大数据技术栈整合在一起，通过统一的Web UI来访问和管理，极大地提高了大数据用户和管理员的工作效率。这里总结一下Hue支持哪些功能：

  • SQL编辑器，支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…
  • 基于文件浏览器（File Browser）访问HDFS
  • 基于Hive编辑器来开发和运行Hive查询
  • 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
  • 支持基于Impala的应用进行交互式查询
  • 支持Spark编辑器和仪表板（Dashboard）
  • 支持Pig编辑器，并能够提交脚本任务
  • 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
  • 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
  • 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
  • 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
  • 支持Job设计器，能够创建MapReduce/Streaming/Java Job
  • 支持Sqoop 2编辑器和仪表板（Dashboard）
  • 支持ZooKeeper浏览器和编辑器
  • 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
  • 使用sentry基于角色的授权以及多租户的管理

三、Hue安装

1）安装数据源

这里以Hive为主实验，怎么安装hive，可以参考我之前的文章：大数据Hadoop之——数据仓库Hive
启动HDFS和Hive Metastore服务

# 启动HDFS
$ start-dfs.sh 
# 启动hive Metastore
$ nohup hive --service metastore &
$ ss -atnlp|grep 9083
# 启动hiveserver2
$ nohup hiveserver2 > /dev/null 2>&1 &
$ jobs -l
# 启动有点慢，可以稍等一段时间再查看端口
$ ss -antlp|grep 11000

2）安装docker

# 安装yum-config-manager配置工具
$ yum -y install yum-utils
# 设置yum源
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
$ sudo yum install -y docker-ce
# 启动
$ sudo systemctl start docker
# 开机自启
$ sudo systemctl enable docker
# 查看版本号
$ sudo docker --version
# 查看版本具体信息
$ sudo docker version

# Docker镜像源设置
# 修改文件 /etc/docker/daemon.json，没有这个文件就创建
# 添加以下内容后，重启docker服务：
{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
$ sudo systemctl restart docker

3）通过Docker快速安装

很多安装方式，可以参考GitHub上的说明，还有快速安装数据源的方式：https://github.com/cloudera/hue#getting-started

$ docker run -it -p 8888:8888 gethue/hue:latest
$ docker ps|grep hue
$ netstat -tnlp|grep 8888

WEB UI：http://192.168.0.113:8888/

创建超级用户

支持很多连接器


【温馨提示】如果端口不是默认的端口就必须修改，因为hue.ini里面配置的都是各个组件默认的端口，就拿hive来说就不是默认端口，这里得修改hue.ini配置文件。连接器官网文档

# hive_server_port=11000
$ docker exec -it -- amazing_faraday /bin/bash
$ sed -i s/hive_server_port=10000/hive_server_port=11000/ /usr/share/hue/desktop/conf/hue.ini
# 修改完配置重启服务
$ docker restart amazing_faraday

3）通过CM安装集成到CDH

CM和CDH安装文档：
大数据Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2环境部署）

CM WEB UI访问（账号/密码）：http://hadoop-cdhmaster-168-182-161:7180/

1、添加服务


2、将 Hue 服务添加到 CDH

3、自定义角色分配

4、数据库设置

根据之前装CM时初始化数据库的设置来配置

5、安装完成

6、启动hue服务


7、创建账户


4）官方demo演示

https://demo.gethue.com/
账号/密码：demo/demo

四、Hue简单使用

Hue WEB UI：http://hadoop-cdhmaster-168-182-161:8888/

1）通过Hue操作HDFS




【温馨提示】如果需要在其它用户目录先修改创建文件就必须授权或者创建相对于的用户去登录访问

2）通过Hue操作Impala

关键字不区分大小写

show databases;
use test2022;
show tables;

3）通过Hue操作Hive

show databases;

【温馨提示】这里连接的beeline 的hiveserver2服务，端口10000。

Hue的基础部分就到了，如果小伙伴有疑问欢迎给我留言或者私信，后续内容更精彩，请耐心等待~

环境部Hadoop1601821noopenerhttps大数据

有关大数据Hadoop之——Hadoop图形化管理系统Hue（Hue环境部署）的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  4. ruby-on-rails - 获取 inf-ruby 以使用 ruby​​ 版本管理器 (rvm) - 2

    我安装了ruby​​版本管理器，并将RVM安装的ruby​​实现设置为默认值，这样'哪个ruby'显示'~/.rvm/ruby-1.8.6-p383/bin/ruby'但是当我在emacs中打开inf-ruby缓冲区时，它使用安装在/usr/bin中的ruby​​。有没有办法让emacs像shell一样尊重ruby​​的路径？谢谢! 最佳答案 我创建了一个emacs扩展来将rvm集成到emacs中。如果您有兴趣，可以在这里获取:http://github.com/senny/rvm.el

  5. ruby-on-rails - 事件管理员日期过滤器日期格式自定义 - 2

    是否有简单的方法来更改默认ISO格式(yyyy-mm-dd)的ActiveAdmin日期过滤器显示格式？ 最佳答案 您可以像这样为日期选择器提供额外的选项，而不是覆盖js:=f.input:my_date,as::datepicker,datepicker_options:{dateFormat:"mm/dd/yy"} 关于ruby-on-rails-事件管理员日期过滤器日期格式自定义，我们在StackOverflow上找到一个类似的问题： https://s

  6. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  8. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  9. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  10. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

随机推荐