草庐IT

mysql - Storm 直接从 MySQL 喷出?

我想使用Storm集群来实时监控用户事件。目前,用户事件日志保存在MySQL中。每分钟约有100,000条记录记录到MySQL中,每天约有20,000,000条记录。我想每N分钟做一次topN浏览项目排名。如何为此设计喷口?我应该在spout中直接从MySQL查询还是使用像Kafka这样的消息队列?我想要实时性能,所以更喜欢第一种方式。但我发现很少有生产实现选择这种方式。为什么? 最佳答案 要直接从MySqlBin日志发出元组,您可以使用github上的这个mysqlspout(https://github.com/flipkart