需求当前数仓架构流程图如下图所示，不支持端到端数据血缘，数据异常排查及影响分析比较被动，需要端到端数据血缘及元数据管理。业务系统：各种制造业业务系统（高速迭代、重构、新建中）数仓开发平台：数栖平台，支持数仓内各层级的DAG调度血缘图数仓导出库：PGBI可视化系统：FineBI，支持内部数据集、图表的血缘通过调研分析，引入datahub做元数据管理平台，实现效果如下图展示。方案实现如下端到端血缘图：BI报表/仪表盘（dashboard）->BI组件（chart）->BI数据集->数仓导出库(PG)->数仓数据资产(数栖平台)->上游业务系统工作内容：✅datahub中自定义FineBI、数栖平台
文章目录Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾02：课程目标03：案例需求Flume+Kafka+Hbase+Flink+FineBI的实时综合案例01：课程回顾Hbase如何解决非索引查询速度慢的问题？原因：Hbase以Rowkey作为唯一索引现象：只要查询条件不是Rowkey前缀，不走索引解决：构建二级索引思想：自己建rowkey索引表，通过走两次索引来代替全表扫描步骤step1：根据自己查询条件找到符合条件的原表的rowkeystep2：根据原表rowkey去原表检索问题：不同查询条件需要不同索引表，维护原表数据与索引数据同步问题解决方案
1.结构化就是可以用schema描述的数据,就是结构化数据,能转为二维表格,如CSV,Excel,2.半结构化就是部分可以转换为二维表格,如JSON,XML3.非结构化数据,就是完全无法用二维表格表示的数据,如Word文档,Mp4,图片,等文件.kettle的流程新建转换-构建流图-配置组件-保存运行使用windos的黑窗口进行任务流执行kettle_crontab.bat编写黑窗口默认ansi,要先改脚本的编码先进安装kettle的盘符然后 cd安装的路径然后pan.bat/file盘符/想要执行转换的工作流的所在路径windos本地定时功能,控制面板-任务计划程序-创建基本任务,FineR
文章目录问题描述情况一的解决情况二的解决ETL数据清洗知识社交案例参考代码结果展示问题描述情况1：FineBI导入表名中文乱码，字段内容正常情况2：FineBI导入表字段中文乱码，表名内容正常情况一的解决使用navcat等工具连接node1mysql数据库，执行下列代码，修改相关字符集格式执行的时机准备数据表阶段和清洗数据阶段都可，需在完成需求生成结果表之前--在Hive的MySQL元数据库中执行usehive;--1.修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;--2.修改表注释字符
1、数据库操作1.1、创建数据库createdatabaseifnotexistsmyhive;usemyhive;1.2、查看数据库详细信息descdatabasemyhive;数据库本质上就是在HDFS之上的文件夹。默认数据库的存放路径是HDFS的：/user/hive/warehouse内1.3、创建数据库并指定hdfs存储位置使用location关键字，可以指定数据库在HDFS的存储路径。createdatabasemyhive2location'/myhive2';1.4、删除数据库删除一个空数据库，如果数据库下面有数据表，那么就会报错dropdatabasemyhive;强制删除数
文章目录22：FineBI配置数据集23：FineBI构建报表24：FineBI实时配置测试附录二：离线消费者完整代码22：FineBI配置数据集目标：实现FineBI访问MySQL结果数据集的配置实施安装FineBI参考《FineBIWindows版本安装手册.docx》安装FineBI配置连接数据连接名称：Momo用户名：root密码：自己MySQL的密码数据连接URL：jdbc:mysql://node1:3306/momo?useUnicode=true&characterEncoding=utf8数据准备SELECTid,momo_totalcount,momo_province,m
openEulerLinux部署FineBi部署环境环境版本openEulerLinux22.03MySQL8.0.35JDK1.8Tomcat9.0.83FineBi6.0环境准备升级系统内核和软件yum-yupdatereboot安装常用工具软件yum-yinstallvimtarnet-tools安装MySQL8将MySQLYum存储库添加到系统的存储库列表中sudoyum-yinstallhttps://repo.mysql.com//mysql80-community-release-el8-9.noarch.rpm通过运行以下命令并检查其输出来验证是否已启用和禁用正确的子存储库su
目录一、概述二、FineBI介绍及安装 （1）安装包下载 （2）安装 （3）配置Hive连接驱动 （4）安装插件 （5）新建Hive连接一、概述 BI：BusinessIntelligence，商业智能。指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。简单来说，就是借助BI工具，可以完成复杂的数据分析、数据统计等需求，为公司决策带来巨大的价值。 常见BI软件有： ①FineBI ②SuperSet ③PowerBI ④TableAu二、FineB
文章目录一、概述二、FineBI产品组成三、FineBI架构四、功能概述1）数据准备（数据源）1、多数据源支撑2、数据管理3、数据关联4、基础数据处理2）数据处理（数据集）3）数据分析（数据可视化）1、可视化图表2、仪表板（可视化大屏）五、FineBI安装六、简单使用1）连接数据源2）创建数据集3）可视化展示（仪表板）一、概述FineBI是帆软软件有限公司推出的一款商业智能（BusinessIntelligence）产品。FineBI是定位于自助大数据分析的BI工具，能够帮助企业的业务人员和数据分析师，开展以问题导向的探索式分析。上面是官方的介绍，其实一般我们会将原始数据通过ETL（抽取（ex
1.概述FineBI是帆软软件有限公司推出的一款商业智能（BusinessIntelligence）产品。FineBI是新一代大数据分析的BI工具，旨在帮助企业的业务人员充分了解和利用他们的数据。FineBI凭借强劲的大数据引擎，用户只需简单拖拽便能制作出丰富多样的数据可视化信息，自由地对数据进行分析和探索，让数据释放出更多未知潜能。2.产品定位现阶段各行各业在使用数据进行查询分析基本都是通过前端业务人员需要与信息部IT人员沟通，这样的模式不但沟通成本大，而且灵活性差，不能及时响应。FineBI通过多人协同合作来解决上述弊端，业务人员借助其对业务关系的了解在可理解的数据基础上创建BI分析，无需
