安装配置flume1、下载flume的gz包（百度网盘连接：链接：https://pan.baidu.com/s/1VeelyVBttwLMRS-2LGzp8w?pwd=wanh 提取码：wanh（永久生效））2、解压：tar-zxvfapache-flume-1.7.0-bin.tar.gz3、为了方便和美观，将其改名为flume。mvapache-flume-1.7.0-bin/flume4、查看执行文件5、配置环境：[root@HadoopMasterbin]#pwd/home/hadoop/software/flume/bin（bin目录下）[root@HadoopMasterbin]
?个人主页：@与自己作战?作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持，携手共进?如果文章对你有帮助的话，欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我，?必支持文章目录一、kafka配置(cdh-master-v01)1、kafka创建topic1.2、kafka验证topic是否创建成功2、创建flume票据认证（flumea账号操作）3、修改flume配置flume-env.sh文
?个人主页：@与自己作战?作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主?希望大佬们多多支持，携手共进?如果文章对你有帮助的话，欢迎评论?点赞?收藏?加关注⛔如需要支持请私信我，?必支持文章目录一、kafka配置(cdh-master-v01)1、kafka创建topic1.2、kafka验证topic是否创建成功2、创建flume票据认证（flumea账号操作）3、修改flume配置flume-env.sh文
以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1agent.channels.c1.capacity=20000agent.channels.c1.transactionCapacity=10000agent.channels.c1.type=memoryagent.sinks=k1a
以前很多业务都是用scribe做日志收集的支撑的，后来fb停止了对scribe的开发支持。而且scribe在机器上编译一次的代价太大了，各种坑，正好后来flume从1.3.0开始加入了对scribe的支持。就可以把原来scribe上面接入的数据转用flume收集了。虽然我很喜欢scribe，但是失去了官方支持毕竟还是很闹心的。agent.channels=c1agent.channels.c1.capacity=20000agent.channels.c1.transactionCapacity=10000agent.channels.c1.type=memoryagent.sinks=k1a
flume的集群部署标签（空格分隔）：协作框架一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。1.2flume的单机模式1.2.1系统初始化系统：Centos7.9x64主机
flume的集群部署标签（空格分隔）：协作框架一：flume介绍：1.1flume的介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。1.2flume的单机模式1.2.1系统初始化系统：Centos7.9x64主机
