一、Presto&Alluxio1、PrestoOverviewPresto是一个里程碑式的产品,它能够让我们很简单的不需要数据的导入和导出,就可以使用标准的SQL来查询数据湖仓上的数据。早先是数据仓库datawarehouse即Hive数据仓库,之后出现了Hudi和Iceberg,有一些公司用Presto查询Kafka,还有Druid等等。Druid很快,但是可能对Join支持不好,可以用Presto直接查询Druid一步到位,然后通过一些计算的pushdown,能够让Druid中有些跑得比较困难的任务得到很好的运行。Presto中有一个概念叫做交互式的查询,即在几秒种最多几分钟返回一个结
大数据presto+Alluxio1.Presto安装角色分配IP地址HOSTNAMENodeID角色172.16.16.241incubator-test-dc-001presto-cdh01coordinator172.16.16.246incubator-test-dc-002presto-cdh02worker172.16.16.250incubator-test-dc-003presto-cdh03worker172.16.16.242incubator-test-dc-004presto-cdh04worker172.16.16.249incubator-test-dc-005
大数据presto+Alluxio1.Presto安装角色分配IP地址HOSTNAMENodeID角色172.16.16.241incubator-test-dc-001presto-cdh01coordinator172.16.16.246incubator-test-dc-002presto-cdh02worker172.16.16.250incubator-test-dc-003presto-cdh03worker172.16.16.242incubator-test-dc-004presto-cdh04worker172.16.16.249incubator-test-dc-005
1.说明p:prestoa:allixopz:zeppelinr:rancher分为三部分讲解1.什么是presto+Alluxio,大数据presto+Alluxio集成详细部署说明2.大数据zeppelin+rancher,docker的集成部署3.presto+alluxio集成ldap实操测试,zeppelin+rancher集成ldap实操测试1.1什么是presto于内存的并行计算,Facebook推出的分布式SQL交互式查询引擎多个节点管道式执行支持任意数据源数据规模GB~PB是一种Massivelyparallelprocessing(mpp)(大规模并行处理)模型数据规模PB
1.说明p:prestoa:allixopz:zeppelinr:rancher分为三部分讲解1.什么是presto+Alluxio,大数据presto+Alluxio集成详细部署说明2.大数据zeppelin+rancher,docker的集成部署3.presto+alluxio集成ldap实操测试,zeppelin+rancher集成ldap实操测试1.1什么是presto于内存的并行计算,Facebook推出的分布式SQL交互式查询引擎多个节点管道式执行支持任意数据源数据规模GB~PB是一种Massivelyparallelprocessing(mpp)(大规模并行处理)模型数据规模PB