在本杂志2022年3月版发表的题为“用Zeek轻松实现网络安全监控”的文章中，我们研究了Zeek的功能，并学习了如何开始使用它。现在我们将把我们的学习经验再进一步，看看如何将其与ELK（即Elasticsearch、Kibana、Beats和Logstash）整合。为此，我们将使用一个叫做Filebeat的工具，它可以监控、收集并转发日志到Elasticsearch。我们将把Filebeat和Zeek配置在一起，这样后者收集的数据将被转发并集中到我们的Kibana仪表盘上。安装Filebeat让我们首先将Filebeat与Zeek安装在一起。使用 apt 来安装Filebeat，使用以
在本杂志2022年3月版发表的题为“用Zeek轻松实现网络安全监控”的文章中，我们研究了Zeek的功能，并学习了如何开始使用它。现在我们将把我们的学习经验再进一步，看看如何将其与ELK（即Elasticsearch、Kibana、Beats和Logstash）整合。为此，我们将使用一个叫做Filebeat的工具，它可以监控、收集并转发日志到Elasticsearch。我们将把Filebeat和Zeek配置在一起，这样后者收集的数据将被转发并集中到我们的Kibana仪表盘上。安装Filebeat让我们首先将Filebeat与Zeek安装在一起。使用 apt 来安装Filebeat，使用以
过去的几年里，随着大数据的进一步发展，现代数据栈的生态愈加丰富完善，而数据湖在这期间几乎已成为现代数据栈的必备品，它的出现大大简化了用户管理数据的难度，让用户更加关心于数据本身，而非组件本身。T3出行在数据湖基础上，对现代数据栈进行了一些探索，并初步打造了特征平台。在本文中，我将给大家分享下T3出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。一、什么是 ModernDataStack现代数据栈是最近几年出现的一个新名词，其本质是一系列构建在数据仓库周围的工具。其主要出发点是给公司内部，如算法、数据处理、数据分析等团队提供一个更简单易用的产品，提升公
过去的几年里，随着大数据的进一步发展，现代数据栈的生态愈加丰富完善，而数据湖在这期间几乎已成为现代数据栈的必备品，它的出现大大简化了用户管理数据的难度，让用户更加关心于数据本身，而非组件本身。T3出行在数据湖基础上，对现代数据栈进行了一些探索，并初步打造了特征平台。在本文中，我将给大家分享下T3出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。一、什么是 ModernDataStack现代数据栈是最近几年出现的一个新名词，其本质是一系列构建在数据仓库周围的工具。其主要出发点是给公司内部，如算法、数据处理、数据分析等团队提供一个更简单易用的产品，提升公
原文链接：袋鼠云数栈基于CBO在SparkSQL优化上的探索一、SparkSQLCBO选型背景SparkSQL的优化器有两种优化方式：一种是基于规则的优化方式(Rule-BasedOptimizer，简称为RBO)；另一种是基于代价的优化方式(Cost-BasedOptimizer，简称为CBO)。1、RBO是传统的SQL优化技术RBO是发展比较早且比较成熟的一项SQL优化技术，它按照制定好的一系列优化规则对SQL语法表达式进行转换，最终生成一个最优的执行计划。RBO属于一种经验式的优化方法，严格按照既定的规则顺序进行匹配，所以不同的SQL写法直接决定执行效率不同。且RBO对数据不敏感，在表大
原文链接：袋鼠云数栈基于CBO在SparkSQL优化上的探索一、SparkSQLCBO选型背景SparkSQL的优化器有两种优化方式：一种是基于规则的优化方式(Rule-BasedOptimizer，简称为RBO)；另一种是基于代价的优化方式(Cost-BasedOptimizer，简称为CBO)。1、RBO是传统的SQL优化技术RBO是发展比较早且比较成熟的一项SQL优化技术，它按照制定好的一系列优化规则对SQL语法表达式进行转换，最终生成一个最优的执行计划。RBO属于一种经验式的优化方法，严格按照既定的规则顺序进行匹配，所以不同的SQL写法直接决定执行效率不同。且RBO对数据不敏感，在表大
欢迎访问我的博客：https://kelvin-qzy.top2022年已经没有人谈大数据这个概念，不是它失败了，恰恰是因为它成功了。成功技术的吊诡之处在于，它最终会被认为是理所当然，消失在背景音中。从最近的新闻热点里，我们不难看到大数据的身影，例如大数据加持的金税四期，疫情防控下的大数据时空伴随者等等……随着SaaS的普及和深入，数据驱动成为共识，云计算以及云端数据仓库的发展，逐渐有了现代数据技术栈这个新的数据生态体系。现代数据栈（MDS）主要是在欧美，确切的来讲是美国近几年出现的一个称呼，我们可以把它理解为一套新的数据生态体系。何为现代数据栈？现代数据技术栈通常是指构成云原生数据平台的一组
欢迎访问我的博客：https://kelvin-qzy.top2022年已经没有人谈大数据这个概念，不是它失败了，恰恰是因为它成功了。成功技术的吊诡之处在于，它最终会被认为是理所当然，消失在背景音中。从最近的新闻热点里，我们不难看到大数据的身影，例如大数据加持的金税四期，疫情防控下的大数据时空伴随者等等……随着SaaS的普及和深入，数据驱动成为共识，云计算以及云端数据仓库的发展，逐渐有了现代数据技术栈这个新的数据生态体系。现代数据栈（MDS）主要是在欧美，确切的来讲是美国近几年出现的一个称呼，我们可以把它理解为一套新的数据生态体系。何为现代数据栈？现代数据技术栈通常是指构成云原生数据平台的一组
我们接着上篇文章Java技术栈中间件优雅停机方案设计与实现全景图（上）继续Netty优雅关闭的相关内容~~~本文概要6.Netty的优雅关闭通过上小节介绍dubbo优雅关闭的相关内容，我们很自然的引出了Netty的优雅关闭触发时机，那么在本小节中笔者将为大家详细介绍下Netty是如何优雅地装..........优雅地谢幕的~~image.png在之前的系列文章中，我们围绕下图所展示的Netty整个核心框架的运转流程介绍了主从ReactorGroup的创建，启动，运行，接收网络连接，接收网络数据，发送网络数据，以及如何在pipeline中处理相关IO事件的整个源码实现。netty中的reacto
我们接着上篇文章Java技术栈中间件优雅停机方案设计与实现全景图（上）继续Netty优雅关闭的相关内容~~~本文概要6.Netty的优雅关闭通过上小节介绍dubbo优雅关闭的相关内容，我们很自然的引出了Netty的优雅关闭触发时机，那么在本小节中笔者将为大家详细介绍下Netty是如何优雅地装..........优雅地谢幕的~~image.png在之前的系列文章中，我们围绕下图所展示的Netty整个核心框架的运转流程介绍了主从ReactorGroup的创建，启动，运行，接收网络连接，接收网络数据，发送网络数据，以及如何在pipeline中处理相关IO事件的整个源码实现。netty中的reacto
