草庐IT

思考题

全部标签

记一次线上kafka重复消费的问题解决及思考

目录问题排查原因生产者原因消费者可能原因1.重复消息被分到同一消费者的同一批次处理2.重复消息被分到同一消费者的不同批次处理3.重复消息被几乎同时分到不同消费者处理解决方案1.对批量消息进行去重2.对分配到不同消费者的消息进行redis去重3.生产者在发送消息前先进行路由分区消费超时发送重平衡导致重复消费kafka消费原理简介enable.auto.commitauto.commit.interval.mssession.timeout.msmax.poll.interval.msmax.poll.records重复消费原因解决办法其他poll(5000)中5000的含义如果poll处理时发生

关于Redis中Hash或Set类型元素字段设置过期时间的思考

在写点赞功能实现时,突发奇想,假如我想给每个用户的点赞记录缓存,做一个过期时间,那么我该如何实现?问题:如何给redis中hash类型和set类型中的元素字段设置过期时间?解决方案: 通过查阅资料,得知早有人给Redis项目提出类似的issue:要求支持元素级别的过期。项目的维护者也早已指出:不可能支持这样的feature,因为违背了Redis的设计理念:简单、高效。不过,在GoogleGroup上看到Redis的作者针对这类需求给出了2个实现方案:用redis的普通set类型实现。将过期时间写入元素名中或另添加一个该元素的过期时间字段比如平常只是add一个元素foo,现在需要add元素名:f

elasticsearch的查询方式和mysql数据库事务隔离级别的思考

目录普通分页解除查询限制scroll查询search_after官方改进轻量级试图(pit,Pointintime)总结项目中用到了 elasticsearch,发现有几种查询方式不太一样,思考了一下,总结如下普通分页等同于关系数据库的分页查询,例如mysql的limit,如下sqlselect*fromtestlimit100000,10这种查询方式有一个问题,需要查询 1000010条数据到内存中,然后筛选出最后的10条数据进行返回,这样就会造成一个问题,对内存大大浪费。对于 elasticsearch也是这样,所以针对分页数量大于10000的数据做了限制,需要手动开启参数 track_t

从《波斯语课》电影,思考当下紧张的形势,该如何准备面试?

今天又回味了一下这部电影《波斯语课》,感觉和当下紧张的求职形势和面试过程极其相似,推荐大家看一下,看和我的感受是否相同。 1、电影是这么演的    二战的德国战俘营,他们经常杀囚犯,滚动式的杀,这段时间杀一批,过段时间杀一批。他们杀战俘,杀犹太人。    而这其中呢,有一个犹太人冒充波斯人,会波斯语,而正好呢,有个德国军官想学波斯语。军官想战争结束后去开一家餐馆,而要去的地方当地说波斯语。    刚开始也是很不信任这个波斯人,各种试探,让他交自己波斯语。刚开始每天学4个单词,后来又提升到开始40个单词。但这个波斯人是假的,他哪会什么波斯语。幸好呢,身边这个战俘营这个场呢,也没有会波斯语的。于是

【动态规划】【 矩阵】【逆向思考】C++算法174地下城游戏

作者推荐【动态规划】【字符串】扰乱字符串本文涉及的基础知识点动态规划矩阵逆向思考LeetCode174地下城游戏恶魔们抓住了公主并将她关在了地下城dungeon的右下角。地下城是由mxn个房间组成的二维网格。我们英勇的骑士最初被安置在左上角的房间里,他必须穿过地下城并通过对抗恶魔来拯救公主。骑士的初始健康点数为一个正整数。如果他的健康点数在某一时刻降至0或以下,他会立即死亡。有些房间由恶魔守卫,因此骑士在进入这些房间时会失去健康点数(若房间里的值为负整数,则表示骑士将损失健康点数);其他房间要么是空的(房间里的值为0),要么包含增加骑士健康点数的魔法球(若房间里的值为正整数,则表示骑士将增加健

对单元测试的思考(稳定性建设)

2024软件测试面试刷题,这个小程序(永久刷题),靠它快速找到工作了!(刷题APP的天花板)单测是很常见的技术的名词,但背后的逻辑和原理你是否清楚,让我们一起review一下。1.单测是什么?🤔单测是单元测试,主要是测试一个最小逻辑块。比如一个函数、一个react、vue组件。2.为什么要写单测?🤔这里有短期和长远,两个方面做打算:短期:希望开发者在开发过程中,就要想清楚多种case的情况,来检测这个最小单元的可靠性举个例:describe('testgetUriEnd',()=>{it('case1',async()=>{constret=getUriEnd(...);expect(ret)

垂直领域大模型——文档图像大模型的思考与探索

〇、前言12月1日,2023中国图象图形学学会青年科学家会议在广州召开。超1400名研究人员齐聚一堂,进行学术交流与研讨,共同探索促进图象图形领域“产学研”交流合作。大会上,合合信息智能技术平台事业部副总经理、高级工程师丁凯博士在《垂直领域大模型》主题论坛上进行了《文档图像大模型的思考与探索》主题分享。一、技术难题仍存在2023年,随着以Chat-GPT为代表的大语言模型和GPT4-V多模态大模型的爆火,虽然他们在文档领域已经取得了令人惊艳的效果,但目前,OCR文档图像识别等领域的核心技术难题仍然存在。场景及版式多样:文档图像可能来自不同的场景和版式,如报纸、书籍、手写笔记等,每种场景和版式都

iphone - 如何在编写漂亮代码的同时避免扩展 NSArray 和在 Java 中思考

我打算做两个被认为是糟糕风格的事情,但我有理由,而且我对Cocoa解决方案持开放态度,我只是不知道它是什么。我想要一个NSArray,它对UIView是类型安全的,然后是一个NSArray,它对的数组是类型安全的UIViews。UIViews的二维数组。我喜欢这个,因为我实现了一个自定义的双UITableView,它在垂直TableView中有一个嵌套的水平TableView。我会使用我的自定义ViewsArray和Views2DArray作为数据结构,其他程序员可以轻松地将内容提供给我的DoubleTableView。这是想要扩展NSArray的充分理由吗?我遇到的问题是我覆盖了方法

深度思考,AI项目的人工智能到底引领的是什么?

项目深度思考,人工智能到底引领的是什么?人工智能引领技术之舞:项目深度思考项目背景:人工智能的魔法时代技术选择的深度思考:AI大决战团队协作的深度思考:AI联盟大会用户体验的深度思考:AI之光照耀用户未来AI的想象:数字智慧的新世界人工智能引领技术之舞:项目深度思考欢迎来到我们人工智能的创新AIMQ殿堂,这里不仅仅是一个项目,更是我们对未来技术的深度思考。让我们一同穿越数字时空,感受人工智能引领技术之舞的重要性,融入中国文化元素,探索未知的技术宇宙。初步命名为AIMQ,是因为IMMQY项目;项目背景:人工智能的魔法时代我们的项目起源于对人工智能无限可能性的探寻。在这个魔法时代,人工智能如同一把

民营银行数字化安全运营的思考

文章目录前言一、金融行业开展网络安全工作的背景及现状1、企业IT架构演变推动安全理念升级2、人工智能成为影响网络安全攻防平衡的新变量二、银行业机构安全运营的痛点与难点1、安全运营依赖完善的网络安全设施2、安全运营依赖于信息安全管理的体系化能力3、安全运营更关注工作的持续性三、银行业的优秀实践1、提升信息安全管理的体系化能力2、建设全栈网络安全基础设施3、制定安全事件管理流程4、建立安全监测指标看板5、自动化工具的应用6、积极开展攻防演练