Tika支持多种功能：文档类型检测内容提取元数据提取语言检测。文章转载——如何使用Tika提取文件内容什么是tikaTika全名ApacheTika，是用于文件类型检测和从各种格式的文件中提取内容的一个库。Tika使用现有的各种文件解析器和文档类型的检测技术来检测和提取数据。使用Tika，可以轻松提取到的不同类型的文件内容，如电子表格，文本文件，图像，PDF文件甚至多媒体输入格式，在一定程度上提取结构化文本以及元数据。统一解析器接口：Tika封装在一个单一的解析器接口的第三方解析器库。由于这个特征，用户逸出从选择合适的解析器库的负担，并使用它，根据所遇到的文件类型。使用的Tikafacade类
Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta
ZABBIXSNMP自定义监控项查询设备厂家提供的MIB参考或使用MIBBrower获取监控项的oid通过snmpwalk确定snmpagent配置是否正确（该命令可查看某一oid索引下的多条数据项）通过snmpget（该命令只能查看一条oid值）获取具体的某个oid的数据（有时需要在snmpwalk的基础上再添加oid索引），记录oid在zabbix上建立对应的item，interface选择设备snmp接口，Key可随意，SNMPOID输入oid。注意：ZABBIX中填入的oid必须是可以用snmpget获取到值的。拓扑图标签中使用宏ZABBIX6版本宏格式：{?avg(/host/key
ab压力测试工具：ab全称为：apachebench我们先来了解一下压力测试的概念：吞吐率（Requestspersecond）概念：服务器并发处理能力的量化描述，单位是reqs/s，指的是某个并发用户数下单位时间内处理的请求数。某个并发用户数下单位时间内能处理的最大请求数，称之为最大吞吐率。计算公式：总请求数/处理完成这些请求数所花费的时间，即Requestpersecond=Completerequests/Timetakenfortests并发连接数（Thenumberofconcurrentconnections）概念：某个时刻服务器所接受的请求数目，简单的讲，就是一个会话。并发用户数
前言Flink作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持。我们已经了解了Flink程序如何对数据进行读取、转换等操作，最后一步当然就应该将结果数据保存或输出到外部系统了。连接到外部系统在Flink中，如果我们希望将数据写入外部系统，其实并不是一件难事。我们知道所有算子都可以通过实现函数类来自定义处理逻辑，所以只要有读写客户端，与外部系统的交互在任何一个处理算子中都可以实现。例如在MapFunction中，我们完全可以构建一个到Redis的连接，然后将当前处理的结果保存到Redis中。如果考虑到只需建立一次连接，我们也可以利用RichMapFunction，在o
ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsover unboundedandbounded datastreams.Flinkhasbeendesignedtorunin allcommonclusterenvironments,performcomputationsat in-memoryspeed andat anyscale.Here,weexplainimportantaspectsofFlink’sarchitecture.ProcessUnboundedandBounded
作者：禅与计算机程序设计艺术1.简介ApacheKafka是LinkedIn于2011年开源的一款分布式流处理平台，由Scala和Java编写而成。Kafka可以用于实时数据传输、日志聚合、应用指标监控等场景。本文主要介绍Kafka的使用方法，通过实例、图表、例子及相关概念的阐述来帮助读者深入理解并掌握ApacheKafka的使用技巧。2.基本概念术语说明2.1ApacheKafka简介ApacheKafka是LinkedIn在2011年开源的一款分布式流处理平台。它是一个高吞吐量的分布式系统，由Scala和Java编写而成。ApacheKafka支持多种数据分发模型，如发布/订阅（pub-s
作者：禅与计算机程序设计艺术1.简介随着互联网、移动互联网、物联网等新型信息化的发展，以及传统行业的转型升级，越来越多的公司开始面临大数据分析、挖掘和应用的需求，从而为公司创造了巨大的价值。大数据的核心就是数据量大，数据源多样，结构复杂，数据处理要求高。由于各类数据获取途径广泛，包括日志、指标、监控等各种类型的数据，使得传统的数据库很难满足海量数据快速分析、提取、转换、归纳的需求。因此，基于流计算框架ApacheKafka应运而生。ApacheKafka是一个开源分布式流平台，可以用于传输、存储和处理大量的无序、低延迟数据。本文将详细介绍ApacheKafka的设计理念、架构设计、主要功能特性
一、PulsarAdaptoronKafka适配器Pulsar为使用ApacheKafkaJava客户端API编写的应用程序提供了一个简单的解决方案。在生产者中，如果想不改变原有kafka的代码架构，就切换到Pulsar的平台中，那么Pulsaradaptoronkafka就变的非常的有用了，它可以帮助我们在不改变原有kafka的代码基础上，即可接入pulsar，但是需要注意，相关配置信息需要进行一些调整，例如：地址与topic。1.1需要导入Pulsar兼容kafka的依赖包org.apache.pulsarpulsar-client-kafka2.8.01.2编写生产者publicclas
前言在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。基本概念是什么Window：Window是处理无界流的关键，Windows将流拆分为一个个有限大小的buckets，可以可以在每一个buckets中进行计算。start_time、end_time：当Window时时间窗口的时候，每个window都会有一个开始时间和结束时间（前开后闭），这个时间是系统时间。event-time:事件发生时间，是事件发生所在设备的当地时间，比如一个点击事件的时间
