Flume的安装下载Flume，可以选择去官网下载，我选择的版本apache-flume-1.9.0-bin.tar.gz点击这里哟将压缩包上传到/usr/local/software上面解压文件tar-zxvf/usr/local/software/apache-flume-1.9.0-bin.tar.gz-C/usr/local/修改文件夹名称mvapache-flume-1.9.0-binflume进入flume/conf目录下修改文件名字cdflume/confmvflume-env.sh.templateflume-env.sh修改flume-env.sh的配置，注意前面的#号要去掉

一、目的作为日志采集工具Flume，它在项目中最常见的就是采集Kafka中的数据然后写入HDFS或者HBase中，这里就是用flume采集Kafka的数据导入HDFS中二、各工具版本（一）Kafkakafka_2.13-3.0.0.tgz（二）Hadoop（HDFS）hadoop-3.1.3.tar.gz（三）Flumeapache-flume-1.9.0-bin.tar.gz三、实施步骤（一）到flume的conf的目录下#cd /home/hurys/dc_env/flume190/conf（二）创建配置文件evaluation.properties#vi evaluation.prope

Kafka与Flume的对比分析一、Kafka和Flume的架构与工作原理对比1.Kafka的架构与工作原理2.Flume的架构与工作原理3.Kafka和Flume工作原理的异同点二、Kafka和Flume的性能对比1.结构化数据和非结构化数据的处理性能对比2.大规模数据流处理的性能对比三、Kafka和Flume的可用性和稳定性对比1.高可用集群的搭建KafkaFlume2.数据丢失和重复消费的问题处理KafkaFlume四、Kafka和Flume的适用场景对比1.Kafka的适用场景2.Flume的适用场景3.Kafka和Flume适用场景的异同点五、Kafka和Flume的生态系统对比1.

文章目录04：数据源05：技术架构及技术选型06：Flume的回顾及安装07：Flume采集程序开发04：数据源目标：了解数据源的格式及实现模拟数据的生成路径step1：数据格式step2：数据生成实施数据格式消息时间发件人昵称发件人账号发件人性别发件人IP发件人系统发件人手机型号发件人网络制式发件人GPS收件人昵称收件人IP收件人账号收件人系统收件人手机型号收件人网络制式收件人GPS收件人性别消息类型双方距离消息msg_timesender_nickynamesender_accountsender_sexsender_ipsender_ossender_phone_typesender_n

文章目录1.Flume概述1.1Flume简介1.2Flume的特点1.3Flume的基础架构2.Flume安装配置2.1下载地址2.2安装部署3.Flume使用案例3.1实时监控单个追加文件3.2实时监控目录下多个新文件3.3实时监控目录下的多个追加文件1.Flume概述1.1Flume简介    Flume是一种可配置、高可用的数据采集工具，主要用于采集来自各种流媒体的数据（Web服务器的日志数据等）并传输到集中式数据存储区域。    Flume支持在日志系统中定制各种数据发送方，用于收集数据；并且可以对数据进行简单处理，将其写到可定制的各种数据接收方（如文本、HDFS、HBase等）。 

🦄个人主页——🎐个人主页🎐✨🍁🪁🍁🪁🍁🪁🍁🪁🍁感谢点赞和关注，每天进步一点点！加油！🪁🍁🪁🍁🪁🍁🪁🍁目录🦄个人主页——🎐个人主页🎐✨🍁一、问题说明二、操作步骤2.1idea创建远程调试一、问题说明Flume自定义HDFS-Sink，远程服务器进行部署flume打包好后的代码，本地监控远程flume程序端口，进行本地debug和学习Flume整个运行流程和Event数据结构学习。二、操作步骤2.1bin/flume-ng启动脚本配置[root@hdp105apache-flume-1.9.0-bin]#catbin/flume-ng|grepJAVA_OPT$EXEC$JAVA_HOME/bin

题目2：EXTERNAL关键字的作用？[多选]A、EXTERNAL关键字可以让用户创建一个外部表B、创建外部表时，可以不加EXTERNAL关键字C、通过EXTERNAL创建的外部表只删除元数据，不删除数据D、不加EXTERNAL的时候，默认创建内部表也叫管理表【参考答案】:ACD【您的答案】:ABCexternal关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（location），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。默认创建的表都是所谓的管理表，有时也被称为内部表。因为这种表，Hive会（或多或少地）控制着数据的生命周

前言本节内容我们主要介绍一下flume数据采集和kafka消息中间键的整合。通过flume监听nc端口的数据，将数据发送到kafka消息的first主题中，然后在通过flume消费kafka中的主题消息，将消费到的消息打印到控制台上。集成使用flume作为kafka的生产者和消费者。关于nc工具、flume以及kafka的安装部署，这里不在赘述，请读者查看作者往期博客内容。整体架构如下：正文启动Kafka集群，创建first主题-启动Kafka集群-创建first主题kafka-topics.sh--bootstrap-serverhadoop101:9092--create--topicfi

一、flume概述1.1flume定义大数据需要解决的三个问题：采集、存储、计算。Apacheflume是一个分布式、可靠的、高可用的海量日志数据采集、聚合和传输系统，将海量的日志数据从不同的数据源移动到一个中央的存储系统中。用一句话总结：Flume不生产数据，它只是数据的搬运工。flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。1.2flume基础框架1.2.1Agentagent是一个JVM进程，它以事件的形式将数据从源头送至目的地。agent主要有三个组成部分：Source、Channel、Sink。Source：采集组件。用户跟数据源对接，以获取数据；它有

Flume采集端口数据kafka消费1.flume单独搭建#cd/root/flume#viconf/necat.confa1.sources=r1a1.sinks=k1a1.channels=c1#sourcesa1.sources.r1.type=netcata1.sources.r1.bind=mastera1.sources.r1.port=44444#sinksa1.sinks.k1.type=logger#channelsa1.channels.c1.type=memorya1.channels.c1.capacity=1000a1.channels.c1.transactionC