草庐IT

clickhouse-client

全部标签

unit-testing - 如何模拟 http.Client Do 方法

我正在尝试寻找一种解决方案来编写测试和模拟HTTP响应。在我接受接口(interface)的函数中:typeHttpClientinterface{Do(req*http.Request)(*http.Response,error)}我使用基本身份验证发出http获取请求funcGetOverview(clientHttpClient,overview*Overview)(*Overview,error){request,err:=http.NewRequest("GET",fmt.Sprintf("%s:%s/api/overview",overview.Config.Url,ove

【Flink】【ClickHouse】写入流式数据到ClickHouse

Flink安装的教程就不在这里赘叙了,可以看一下以前的文章,这篇文章主要是把流式数据写入的OLAP(ClickHouse)中作查询分析Flink1.13.2,ClickHouse 22.1.3.71、安装ClickHouse(MacOS)这里直接使用docker安装,没有安装的同学可以使用homebreak来安装,执行下面的命令即可(已经安装了docker的可以忽略)brewinstall--cask--appdir=/Applicationsdocker1.1启动docker 四指进入Application,双击Docker图表安装,一直点击下一步即可1.2拉取ClickHouse镜像--客

【Flink】【ClickHouse】写入流式数据到ClickHouse

Flink安装的教程就不在这里赘叙了,可以看一下以前的文章,这篇文章主要是把流式数据写入的OLAP(ClickHouse)中作查询分析Flink1.13.2,ClickHouse 22.1.3.71、安装ClickHouse(MacOS)这里直接使用docker安装,没有安装的同学可以使用homebreak来安装,执行下面的命令即可(已经安装了docker的可以忽略)brewinstall--cask--appdir=/Applicationsdocker1.1启动docker 四指进入Application,双击Docker图表安装,一直点击下一步即可1.2拉取ClickHouse镜像--客

用flink cdc sqlserver 将数据实时同步到clickhouse

flinkcdc终于支持sqlserver了。现在互联网公司用sqlserver的不多,大部分都是一些国企的老旧系统。我们以前同步数据,都是用datax,但是不能实时同步数据。现在有了flinkcdc,可以实现实时同步了。1、首先sqlserver版本:要求sqlserver版本为14及以上,也就是SQLServer2017版。2、sqlserver开启cdc,具体细节可以百度,有一点要注意,必须启动SQLServer代理服务。3、需要实现一个json解析方法,用于将同步过来的json数据解析出来,并insert到目标数据库4、如果需要断点续传,需要设置ck,由于我们这边设备有限。使用的是Ro

用flink cdc sqlserver 将数据实时同步到clickhouse

flinkcdc终于支持sqlserver了。现在互联网公司用sqlserver的不多,大部分都是一些国企的老旧系统。我们以前同步数据,都是用datax,但是不能实时同步数据。现在有了flinkcdc,可以实现实时同步了。1、首先sqlserver版本:要求sqlserver版本为14及以上,也就是SQLServer2017版。2、sqlserver开启cdc,具体细节可以百度,有一点要注意,必须启动SQLServer代理服务。3、需要实现一个json解析方法,用于将同步过来的json数据解析出来,并insert到目标数据库4、如果需要断点续传,需要设置ck,由于我们这边设备有限。使用的是Ro

【Go】实操使用go连接clickhouse

前言近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,Noclientavailable,研发查了一段时间没查出来,让运维这边继续查:运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。正文先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或

【Go】实操使用go连接clickhouse

前言近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,Noclientavailable,研发查了一段时间没查出来,让运维这边继续查:运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。正文先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或

【图文详解】搭建 Spring Authorization Server + Resource + Client 完整Demo

一个完整的Demo,有认证端,有资源端,有客户端;采用当前最新的技术。非常感谢码农小胖哥,仔细研读了他的很多文章。本项目中的很多逻辑和代码都源自于他。如果想深入学习OAuth2,强烈建议关注胖哥。1、项目概述1.1、概述Server+Resource+Client功能完善:授权中心Server:进行认证、授权,并发放token、刷新token,不负责token鉴权(由资源服务器自行鉴权);资源服务器Resource:提供资源,需要携带token请求,可以自行鉴权;客户端Client:面向用户的操作入口;向Server请求token,携带token访问Resource;实现单点登录;让授权和鉴权

【图文详解】搭建 Spring Authorization Server + Resource + Client 完整Demo

一个完整的Demo,有认证端,有资源端,有客户端;采用当前最新的技术。非常感谢码农小胖哥,仔细研读了他的很多文章。本项目中的很多逻辑和代码都源自于他。如果想深入学习OAuth2,强烈建议关注胖哥。1、项目概述1.1、概述Server+Resource+Client功能完善:授权中心Server:进行认证、授权,并发放token、刷新token,不负责token鉴权(由资源服务器自行鉴权);资源服务器Resource:提供资源,需要携带token请求,可以自行鉴权;客户端Client:面向用户的操作入口;向Server请求token,携带token访问Resource;实现单点登录;让授权和鉴权

clickhouse常见异常以及错误码解决

一、异常1)DB::Exception:NestedtypeArray(String)cannotbeinsideNullabletype(version20.4.6.53(officialbuild))原因:字段类型是Nullable(String),在使用一些字符串函数如splitByString,他们对Nullable类型是不支持的,需要转成String。解决:使用cast强转一下字段类型就行:selectsplitByString(',',cast(colasString))colfromtest2)DB::Exception:CannotconvertNULLvaluetonon-N