草庐IT

MQ之kafka

全部标签

xml - 如何提高基于 MQ 的批处理应用程序的性能?

我有一个应用程序,其中消息以每小时70KXML的速度不断发送。我们使用这些XML消息并将其存储到一个中间队列中。创建中间队列是因为我们需要满足24小时内消耗所有消息的SLA。我们能够在24小时内使用XMLS并将其加载到内部队列中。将其加载到内部队列后,我们处理XMLS(解析、应用很少的转换、执行很少的验证)并将数据存储到高度规范化的数据模型中。我知道数据模型会对性能产生巨大影响,不幸的是,我们无法控制数据模型。目前,我们需要3.5分钟来处理2K消息,这是NotAcceptable。我们希望将2K消息的时间缩短到1分钟。这是我们到目前为止所做的:1)适用的索引。2)使用XMLBeans解

java - Java 上的 MQ 入门 : Where to begin?

我正在尝试将一些遗留连接整合到我们的一个较新的应用程序中,这标志着我第一次涉足MQ。我们有一个中间件服务器,它接受通过MQ传递的XML消息;将其转换为对我们古老的记录系统的专有请求,然后以类似的XML格式在回复队列中传递响应。我有一个输入和输出XML结构的示例,以及MQ主机、目标队列和回复队列。我没有的是关于从哪里开始的线索。是否有合适的教程可用于使用OpenMQ或其他免费MQ库之一构建简单的请求/响应机制?谢谢! 最佳答案 我建议您首先熟悉JavaMessageService(JMS)概念和API然后专注于OpenMQ的细节.要了

86、基于STM32单片机的温湿度DHT11 MQ-2烟雾火灾报警器蓝牙物联网设计

毕设帮助、开题指导、技术解答(有偿)见文末。目录摘要一、硬件方案           二、设计功能三、实物图四、原理图五、硬件框图六、流程图七、程序源码  八、资料包括摘要随着社会和经济的发展,防火工作越来越重要,但是目前国内的许多研发都侧重于大型场所的火灾报警。因此,我们就有必要研制一种结构简单、经济实用的家庭烟雾报警器以适应市场的需求。基于供家庭使用的烟雾报警器应该具备的基本要求和功能,文章设计了一种比较适合的烟雾报警器。本设计以传感器和单片机作为烟雾报警器设计的核心器件,配合其它器件即可实现声光报警、自动排烟换气和消防灭火等功能。设计中单片机选用AT89C51作为控制器件,传感器选用QM

【2023】DevOps、SRE、运维开发面试宝典之Kafka相关面试题

文章目录1、消息队列的流派2、kafka的优势3、Kafka与Zookeeper的关系4、Kafka消息队列各组件概念5、Kafka消息队列应用场景6、Kafka消息收发的过程7、Kafka消息数据存储概念8、kafka消息的偏移量概念原理9、Kafka消息数据的顺序消费概念原理10、Kafka单播消费消息的原理11、Kafka多播消费概念12、Kafka集群模式下Broker|主题|分区|副本的概念13、Kafka集群中各组件的概念14、kafka如何防止消息被重复消费15、如何保证消息的顺序消费16、如何解决消息积压的问题1、消息队列的流派1)有Broker的消息队列中间件

docker-compose 搭建 kafka 集群

kafka依赖zookeeper,所以搭建kafka需要先配置zookeeperzookeeper:127.0.0.1:2181kafka1:     127.0.0.1:9092kafka2:     127.0.0.1:9093kafka3:     127.0.0.1:90941.安装docker-composecurl-Lhttp://mirror.azure.cn/docker-toolbox/linux/compose/1.25.4/docker-compose-Linux-x86_64-o/usr/local/bin/docker-composechmod+x/usr/local

windows - 将消息从 "CMD"放入 IBM Websphere MQ 时出现问题

我们在AIX平台上有一个IBMwebsphereMQ[v5.2],我的机器是装有MQ客户端v7.5的Windows7专业版。我尝试远程连接到服务器,但收到了Authorization错误消息。这是因为我的本地用户帐户确实有权远程连接到队列管理器。因此,我在我的系统中创建了一个新的用户帐户,其名称与服务器上的名称相同,它有权放置/获取消息,现在我可以在客户端模式下连接[WebsphereMQv7.5]。我不知道它是否真的连接到服务器,但它没有给我授权错误消息,所以我认为它是成功的。但问题是,当我尝试使用amqsputcQueue_namemqm从cmd将消息放入队列时,队列正在打开并接收

windows - Kafka 无法在 Windows 上启动 - 未找到 key :\tmp\kafka-logs

我已经付出了一些努力让Kafka在Windows32上运行(公司发行的笔记本电脑-当然不是我的选择..)。我成功创建了一些主题。但是在停止/重新启动kafka后,它无法重新阅读这些主题。这是启动日志[2014-05-2912:26:23,097]INFO[ReplicaFetcherManageronbroker0]Removedfetcherforpartitions[vip_ips_alerts,0],[calls,0],[dropped_calls,0],[calls_online,0],[calls_no_phone,0](kafka.server.ReplicaFetcher

windows - WebSphere MQ 错误 MQRC_NOT_AUTHORIZED 2035 即使使用 CHLAUTH(DISABLED)

我正在尝试将Windows客户端应用程序连接到测试环境中的远程WebSphereMQ管理器。客户端Windows7SP1x64WebSphereMQ7.5客户端服务器(虚拟机)Windows2008R2WebSphereMQ7.5服务器两台机器都在同一个域中。队列管理器QM1是在WebSphereMQExplorer(提升为管理员)中创建的。出于测试目的,我对身份验证不感兴趣,因此我使用ALTERQMGRCHLAUTH(DISABLED)禁用了MQ身份验证。C:\ProgramFiles(x86)\IBM\WebSphereMQ\bin64>runmqscQM15724-H72(C)C

windows - 在 Windows 上运行 Kafka

这个问题在这里已经有了答案:HowtoinstallKafkaonWindows?(9个回答)关闭10个月前。在windows上安装Kafka有疑问。我们的服务器场完全基于Windows。我有一个C++应用程序和一个需要交换大量快速数据的asp.netmvc应用程序。我们正在考虑将Kafka用于数据传递层。我们不确定Kafka是否推荐在windows上运行。非常感谢任何反馈。谢谢。

linux - 在 Linux 中使用 WebSphere MQ 的默认 CCSID 连接到 Windows 中的客户端应用程序

我有两个应用程序A和B。应用程序A将消息放入QMA,这是一个默认CCSID为1208的Linux队列管理器。QMA将消息发送到QMB,这是一个默认CCSID为437的Windows队列管理器。应用程序B使用来自QMB。一切都好。然后我将Windows队列管理器QMB迁移到Linux平台并将CCSID更改为默认值1208。AppB开始出现与数据相关的问题。然后我将Linux平台中的QMB使用CCSID更改为437,之后AppB没有发现任何数据问题。我是一名MQ管理员,不太了解在MQ服务器中未启用数据转换属性时,在MQ服务器中定义的CCSID对客户端应用程序的真正重要性。我的理解是队列管理