Doris简介、部署、功能介绍以及架构设计1.Doris简介Doris中文官方文档：https://doris.apache.org/zh-CN/docs/dev/summary/basic-summary1.1Doris概述ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志
目录一、创建用户和数据库二、建表1.基本概念2.创建表3.数据导入三、代码案例一、创建用户和数据库创建用户CREATEUSER‘test’IDENTIFIEDBY‘123456’;后续登录就可以直接使用命令登录mysql-h192.168.1.101-P9030-utest-p12345创建数据库并赋予权限初始可以通过root或admin用户创建数据库createdatabasetest_db;查看数据库showdatabases;授权grantallontest_dbtotest;注意可以使用helpcommand查看语法帮助，不清楚命令全名的话可以使用‘help某一字段’进行模糊查询inf
查询语法和内置函数查询语法整体结构SELECT[ALL|DISTINCT|DISTINCTROW]--对查询字段的结果是否需要去重，还是全部保留等参数select_expr[,select_expr...]--select的查询字段[FROMtable_references[PARTITIONpartition_list]--from哪个库里面的那张表甚至哪一个(几个)分区[WHEREwhere_condition]--WHERE查询[GROUPBY{col_name|expr|position}--groupby聚合[ASC|DESC],...[WITHROLLUP]][HAVINGwher
数据导入使用Insert方式同步数据用户可以通过MySQL协议，使用INSERT语句进行数据导入INSERT语句的使用方式和MySQL等数据库中INSERT语句的使用方式类似。INSERT语句支持以下两种语法：INSERTINTOtableSELECT...INSERTINTOtableVALUES(...)对于Doris来说，一个INSERT命令就是一个完整的导入事务。因此不论是导入一条数据，还是多条数据，我们都不建议在生产环境使用这种方式进行数据导入。高频次的INSERT操作会导致在存储层产生大量的小文件，会严重影响系统性能。该方式仅用于线下简单测试或低频少量的操作。或者可以使用以下方式进
RollupROLLUP在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。通过建表语句创建出来的表称为Base表（BaseTable,基表）在Base表之上，我们可以创建任意多个ROLLUP表。这些ROLLUP的数据是基于Base表产生的，并且在物理上是独立存储的。Rollup表的好处：和基表共用一个表名，doris会根据具体的查询逻辑选择合适的数据源(合适的表)来计算结果对于基表中数据的增删改，rollup表会自动更新同步Aggregate模型中的ROLLUP添加一个rollupaltertableaggregate表名addrollup"rollup表的表名"(user
索引索引用于帮助快速过滤或查找数据。目前Doris主要支持两类索引：• 内建的智能索引：包括前缀索引和ZoneMap索引。• 用户创建的二级索引：包括BloomFilter索引和Bitmap倒排索引。其中ZoneMap索引是在列存格式上，对每一列自动维护的索引信息，包括Min/Max，Null值个数等等。这种索引对用户透明。前缀索引doris中，对于前缀索引有如下约束：他的索引键最大长度是36个字节当他遇到了varchar数据类型的时候，即使没有超过36个字节，也会自动截断doris为这个表创建前缀索引时，它生成的索引键如下：user_id(8Bytes)+age(4Bytes)+messag
测试介绍： 1. 配置化sqlwhere条件（5个线程，每个线程执行不同的where条件，通过csv文件实现） 2.实现固定并发数执行几分钟（如果只是固定并发数执行一次，压测是不合格的，QPS是达不到你设置的并发数）整个测试涉及到的大概这么多1.JmeterJDBC连接Doris或StarRocks兼容mysql协议，通过jdbc方式连接说是要加个mysql-connect的jar包2.csv配置化比如我3个线程 执行3个where条件1. wehrename='zs' 2.whereage='18' 3.wheresex='male' csv里按行存就行（这里没
字段类型数据类型字节范围TINYINT1字节-2^7+1~2^7-1SMALLINT2字节-2^15+1~2^15-1INT4字节-2^31+1~2^31-1BIGINT8字节-2^63+1~2^63-1LARGEINT16字节-2^127+1~2^127-1FLOAT4字节支持科学计数法DOUBLE12字节支持科学计数法DECIMAL[(precision,scale)]16字节保证精度的小数类型。默认是DECIMAL(10,0)，precision:1~27，scale:0~9，其中整数部分为1~18，不支持科学计数法DATE3字节0000-01-01~9999-12-31DATETIME
简介主要内容如下：MySQL安装和开启binogFlink环境准备ApacheDoris环境准备启动FlinkCDC作业1.MySQL安装和开启binog参考文章：Ubuntu安装Mysqlserver,这篇文章介绍了MySQL的安装，用户创建，Binlog开启等内容。MySQL安装后之后创建表，插入测试数据CREATETABLE`test`.`products`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varchar(255)NOTNULL,`description`varchar(512)DEFAULTNULL,`address`varchar(50)
简介主要内容如下：MySQL安装和开启binogFlink环境准备ApacheDoris环境准备启动FlinkCDC作业1.MySQL安装和开启binog参考文章：Ubuntu安装Mysqlserver,这篇文章介绍了MySQL的安装，用户创建，Binlog开启等内容。MySQL安装后之后创建表，插入测试数据CREATETABLE`test`.`products`(`id`int(11)NOTNULLAUTO_INCREMENT,`name`varchar(255)NOTNULL,`description`varchar(512)DEFAULTNULL,`address`varchar(50)
