草庐IT

Flink CDC引起的Mysql元数据锁

记一次FlinkCDC引起的Mysql元数据锁事故,总结经验教训。后续在编写FlinkCDC任务时,要处理好异常,避免产生长时间的元数据锁。同时出现生产问题时要及时排查,不能抱有侥幸心理。1、事件经过某天上午,收到系统的告警信息,告警提示:同步Mysql的某张表数据到Elasticsearch异常,提示连不上Mysql,当时没有太上心,以为可能是偶尔网络异常。然后立马大量用户开始投诉系统使用有问题,同时听到有同事反馈内部系统数据导不出来。此时我慌了。立马看了微服务网关、用户中心服务、部分流量比较大的BFF层服务,CPU、内存、磁盘等都是正常的。但是Pod出现了健康检查失败的情况。于是又赶紧看了

Redis订阅模式在生产环境引起的内存泄漏

内存泄漏  内存泄漏指的就是在运行过程中定义的各种各样的变量无法被垃圾回收器正常标记为不可达并触发后续的回收流程,主要原因还是因为对可回收对象引用没有去除,导致垃圾回收器通过GCROOT可达性分析时认为当前是可达的;这时随着系统的运行时间,累积的不可回收的对象就越多,直到垃圾回收器执行FullGC还是没有空余空间存放新加入的对象,这时虚拟机就会抛出outofmemory错误。此种错误可以分类为内存泄漏导致的,原因是应该回收的对象无法被垃圾回收器正常回收从而导致内存不足。说起内存泄漏近十年引起比较大的是便是Android5.0引起的内存问题,该Bug导致手机在使用一段时间后必须手动重启系统释放内

tcp缓存引起的日志丢失

背景logstash从数据源拉取日志,然后通过tcp插件发送到proxy进程中。在业务侧发现日志量明显少了,所以有了这一次的问题排查。问题排查定位首先从logstash侧开始检查。我们先看logstash的日志,没有明显的报错信息。然后再查看logstash管道的状态。可以很明显的看到,在output管道中,in远远大于out,也就是logstash拉取的日志已经到了output管道,但是无法输出出去,并且duration_in_millis时间很长,这个代表着发出去的速率很慢,这是什么原因呢?curl-XGET'localhost:9600/_node/stats/pipelines/azu

富文本BraftEditor引起的bug

 1、BraftEditor踩坑1#基于之前写的一篇BraftEditor的使用#    1.问题起源: 打开编辑弹窗-->下面页面所示-->当进行分类选择时候,就会报错,并且这个报错还不是一直都有,6次选择出现一次报错吧     2.解决:    2.1 起初以为是分类选择导致的报错,经过排查,不是    2.2   仔细看了报错的信息,其中说Theavoveerroroccurredinthecomponent:通过这个定位到是富文本引起的错误,也就是“公告内容”这块用了富文本。    2.3xxx'filter'ofunderfined,点击createBaseForm.js这个文件,发

解决云服务器访问问题:发现和解决 Cloudflare WARP 引起的 IP 问题

背景最近在配置我的云服务器时,我遇到了一个有趣的网络问题。虽然能够通过SSH连接到服务器,也可以通过域名访问服务,但是在尝试通过IP地址和端口直接访问服务器上的服务时,却无法成功。一开始,我对这个问题感到困惑,但最终通过一系列的调试步骤找到了原因并解决了问题。发现问题根源问题根源的发现始于我使用外部服务检查服务器的公网IP地址。我注意到,虽然服务器有一个独立的公有IP地址,但通过外部服务显示的公网IP地址却属于Cloudflare。命令如下:ubuntu@ip-172-31-8-225:~$curlhttps://ipecho.net/plain104.28.253.218其中104.28.2

详细解决java中的Collectors.toMap引起的java.lang.IllegalStateException: Duplicate key xxx 的错误

文章目录目录1.复现错误2.分析错误3.解决问题4.重要补充1.复现错误今天,测试在禅道上给我指出一个正式环境bug,如下图所示:即java.lang.IllegalStateException:Duplicatekey2。2.分析错误根据java.lang.IllegalStateException:Duplicatekey2可知,这是java抛出的存在2个重复键的错误。如果想要弄清楚错误原因,通过如下几个步骤分析:首先,看到这个错误信息,先在本地使用postman测试这个接口,如下图所示:由于涉及到公司的安全,不能把接口展示出来。由上图可知,本地环境没有问题。查看正式环境的日志,如下图所示

偏斜数据引起了蜂巢中长期运行的查询

我正在运行一个蜂巢查询,例如tablealeftjointablebontablea.col1=tableb.col1和tablea.col2=tableb.col2。Tablea拥有18亿数据,TableB拥有3100万个记录。现在,我的联接中的最后一个还原器还没有完成,并且它正在运行很长时间。可能是因为偏斜的数据。我确实尝试了MAPJOIN,并且由于Tablea的数据量大量数据量,查询失败了。还有其他选择可以更好地处理吗?我可以看到长时间运行的任务如下reduce>copytask(attempt_1498868574233_185232_m_001336_0succeededat8.94

php - 由操作系统引起的潜在网站错误?

操作系统是否可能导致网站显示不同?我一直在尝试为客户端调试图形故障,但我无法自己重新创建它。据我所知,在iOS设备上查看网站(下面的链接)会导致主页横幅中出现一个空圆圈。但是,我无法在Android手机或桌面浏览器上复制此错误,而且我个人也无法访问iOS设备。我已要求我的团队成员对此进行测试,并且在响应的两名iPhone用户中,他们都报告说这发生在Safari和GoogleChrome中。应该注意的是,两者都在最新版本的iOS上,以防这有任何意义。非常感谢您提供解决此问题的任何帮助。请注意,该网站是建立在WordPress上的,但我已将其发布在这里,因为它看起来不像是WordPress

.find()触发器运行时错误91,即使所有变量都设置为VBA,可能是由于不良引用引起的

我正在编写代码来创建模板。该代码从同一WB中不同选项卡上的用户输入中填充了一个名为“fulldistribution”的选项卡。我有一个工作的代码部分,我在单独的模块(用于测试)中编写的代码部分,远离主模块。该代码在分开时正确运行并完全执行。当我将此代码粘贴到主模块中并运行它时,我开始在新贴上的代码开始时收到“运行时错误91:对象变量或块变量未设置”。我没有使用任何块,我的所有变量都设置了。当我将其传输到主模块时,我没有对代码进行任何更改,然后介绍了我创建的新变量。这是我在单独的模块中编写的代码的选择:Worksheets("bls2016").Activatetcount=Worksheet

每日一看大模型新闻(2023.11.20)OpenAI安全系统负责人长文梳理:大模型的对抗攻击与防御;谷歌Bard「破防」,用自然语言破解,提示注入引起数据泄漏风险;真正实现一步文生图,谷歌UFO

1.产品发布1.1长虹:首个基于大模型的智慧家电AI平台发布日期:2023.11.20全球首个基于大模型智慧家电AI平台长虹云帆震撼发布!主要内容:长虹智慧AI平台发布会上,发布了全球首个基于大模型的智慧家电AI平台——长虹云帆。据介绍,云帆AI平台具备多维感知、多重理解、多任务管理、多模交互、内容激发五大能力,目前长虹的8K系列、ARTIST星箔系列、288Hz超羽速系列电视已首批搭载。此外,长虹还发布了一款具有超级连接能力的电视——全球首台星闪电视。1.2招商轮船发布“ShippingGPT”航运大模型发布日期:2023.11.20招商局航运大模型“ShippingGPT”11月20日发布