草庐IT

k8s~fluentd从kafka到elk

敢于对过去告一个段落，才有信心掀开新的篇章！ 2023-03-28 原文

有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。

我的k8s-fluentd的相关文章

k8s~部署EFK框架
k8s~为服务添加sidecar边斗
k8s~fluentd的configmap设置es索引前缀
ELK~fluentd多行日志的收集

使用docker的镜像

lypgcs/fluentd-es-kafka:v1.3.2

fluent.conf配置

可以添加configMap，扩展性更好，下面说一下配置的含义
名称是fluentd-config，内部文件名是fluent.conf

  • brokers 这是kafka的地址
  • consumer_group 消费组名称
  • format json 表示kafka里存储的是json格式
  • start_from_beginning true表示从头消费，false从最新的消息
  • topics 表示监控的主题，多个之间用逗号分开
  • tag 表示索引名称
  • flush_interval 刷新频率
  • logstash_format index是否使用logstash命名方式（logstash-%Y.%m.%d），默认不启用
  • logstash_prefix：logstash_format启用的时候，index命名前缀是什么。默认为logstash
  • include_tag_key true #把tag当做字段写入ES,如果需要自定义tag时，可以添加这项
  • tag_key @log_name
<source>
@type kafka_group
brokers test11:9092
consumer_group fluentd-k8s
format json
topics KC_AUTHORIZATION_POLICY,KC_AUTHORIZATION_POLICY_CREATE,KC_AUTHORIZATION_POLICY_DELETE,KC_AUTHORIZATION_POLICY_UPDATE,KC_AUTHORIZATION_RESOURCE_CREATE,KC_AUTHORIZATION_RESOURCE_DELETE,KC_CLIENT_LOGIN,KC_CLIENT_ROLE_MAPPING_CREATE,KC_CLIENT_ROLE_MAPPING_DELETE,KC_GROUP_CREATE,KC_GROUP_DELETE,KC_GROUP_MEMBERSHIP_CREATE,KC_LOGIN_ERROR,KC_LOGOUT,KC_REALM_ROLE_CREATE,KC_REALM_ROLE_MAPPING_CREATE,KC_REALM_ROLE_MAPPING_DELETE,KC_USER_ACTION,KC_USER_CREATE,KC_USER_DELETE,KC_USER_INFO_REQUEST,KC_USER_UPDATE,KC_CODE_TO_TOKEN_ERROR,KC_LOGIN
</source>

<match *>
@type elasticsearch
host 192.168.60.10
port 9200
logstash_format true
flush_interval 10s
logstash_prefix fluentd-log
</match>

k8s编排

apiVersion: apps/v1
kind: Deployment
metadata:
  name: fluentd-log-deployment
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: fluentd-log
  template:
    metadata:
      labels:
        app: fluentd-log
    spec:
      hostAliases:
        - ip: "192.168.10.11"
          hostnames: ["test11"]
      containers:
        - name: fluentd-log-controller
          image: lypgcs/fluentd-es-kafka:v1.3.2
          volumeMounts:
            - name: config-volume
              mountPath: /etc/fluent
      volumes:
        - name: config-volume
          configMap:
            name: kafka-fluentd
  #滚动升级策略
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0

基于fluentd风格的按日期为索引的命名

最后在kibana里的格式化后的数据

fluentdkafkaKClogstashKubernetes

有关k8s~fluentd从kafka到elk的更多相关文章

  1. k8s-污点 (Taint)和容忍 (Tolerations) - 2

    文章目录一、污点（Taint）1、污点简介2、污点的组成3、污点的设置和去除二、容忍（Tolerations）1、容忍简介2、容忍的基本用法3、示例4、多污点与多容忍配置三、警戒(cordon)和转移(drain)四、Pod启动阶段（相位phase）五、故障排除步骤一、污点（Taint）节点亲和性，是Pod的一种属性（偏好或硬性要求），它使Pod被吸引到一类特定的节点Taint则相反，它使节点能够排斥一类特定的PodTaint和Toleration相互配合，可以用来避免Pod被分配到不合适的节点上。每个节点上都可以应用一个或多个taint，这表示对于那些不能容忍这些taint的Pod，是不会被

  2. kafka如何动态消费新增topic主题 - 2

    一、解决痛点使用spring-kafka客户端，每次新增topic主题，都需要硬编码客户端并重新发布服务，操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic，缺点是并发数需要手动改并且重启服务。对于业务逻辑相似场景，创建新主题动态监听可以用kafka-batch-starter组件二、组件能力1、新增topic名称为：auto.topic1（由于配置spring.kafka.consumer.prefix为auto，因此只有auto前缀的topic，才会被组件动态监听。）2、应用输出日志，监听到新增auto.topic1，并初始化客户端(主题刷新间隔为10s)3、发新的消

  3. 云原生（十八） | Kubernetes篇之Kubernetes（k8s）工作负载 - 2

    文章目录Kubernetes（k8s）工作负载一、Workloads二、Pod三、Deployment四、RC、RS、DaemonSet、StatefulSet五、Job、CronJob1、Job2、CronJob六、GCKubernetes（k8s）工作负载一、Workloads什么是工作负载（Workloads）工作负载是运行在Kubernetes上的一个应用程序。一个应用很复杂，可能由单个组件或者多个组件共同完成。无论怎样我们可以用一组Pod来表示一个应用，也就是一个工作负载Pod又是一组容器（Containers）所以关系又像是这样工作负载（Workloads）控制一组PodPod控制

  4. K8s部署PHP项目 - 2

    前言    前端时间PHP项目部署升级需要，需要把Laravel开发的项目部署K8s上，下面以laravel项目为例，讲解采用yaml文件方式部署项目。一、部署步骤1.创建Dockerfile文件Dockerfile是一个用来构建镜像的文本文件，在容器运行时，需要把项目文件和项目运行所必须的组件安装其中。#基础镜像FROMphp:7.4-fpm#时区ARGTZ=Asia/Shanghai#更换容器时区RUNcp"/usr/share/zoneinfo/$TZ"/etc/localtime&&echo"$TZ">/etc/timezone#替换成阿里apt-get源RUNsed-i"s@http

  5. 【k8s】二、containerd的安装 - 2

    目录前言安装containerd解压安装配置成systemd任务安装runc​编辑安装cni配置containerd镜像源containerd基本使用拓展阅读nerdctl工具安装及使用整体脚本总结写在后面前言上一篇文章，我们介绍了虚拟机的基础环境以及基础的网络配置，还有一些k8s节点要用到基础环境配置。本文将带领大家把containerd给安装了containerd的项目官方地址https://github.com/containerd/containerdcontainerd的发布版本地址如下https://github.com/containerd/containerd/releases

  6. idea连接远程k8s集群使用kubernetes-client - 2

    文章目录一.k8s集群修改config1.1备份当前k8s集群配置文件1.2删除当前k8s集群的apiserver的cert和key1.3生成新的apiserver的cert和key1.4刷新admin.conf1.5重启apiserver1.6刷新.kube/config二.安装kubectl2.1下载kubectl2.2配置kubectl三.使用kubernetes-client操作k8s集群3.1依赖3.2注意（可忽略）3.3创建StatefulSet3.4运行shell命令3.5删除StatefulSet3.6线上运行注意一.k8s集群修改config因为默认的是内网IP，复制出来后，

  7. Zookeeper、Nacos、Dubbo、Kafka之间的关系 - 2

    1.Zookeeper　　Zookeeper是 ApacheHadoop 的子项目，是一个树型的目录服务，支持变更推送，适合作为Dubbo服务的注册中心，工业强度较高。　　Zookeeper的功能主要是它的树形节点来实现的。当有数据变化的时候或者节点过期的时候，会通过事件触发通知对应的客户端数据变化了，然后客户端再请求zookeeper获取最新数据，采用push-pull来做数据更新。服务注册和消费信息直接存储在zk树形节点上，集群下采用过半机制保证服务节点间一致性。　2.Nacos　　Nacos是 Alibaba 公司推出的开源工具，用于实现分布式系统的服务发现与配置管理。Nacos是Dub

  8. Spark Kafka流媒体 - 如何确定批次的末端 - 2

    我使用Kafka流媒体从KAFKA主题中消费。（KafkaDirect流）此主题中的数据每5分钟从另一个来源到达。现在，我需要处理每5分钟后到达的数据，并将其转换为SparkDataFrame。现在，流是数据的连续流。我的问题是，如何确定我已经完成了在Kafka主题中加载的第一组数据的阅读？（以便我可以将其转换为数据框架并开始我的工作）我知道我可以提及某个数字的批处理间隔（在JavastreamingContext中），但是即使那样，我也永远无法确定源将数据将数据推到主题的时间。欢迎任何建议。看答案如果我正确理解您的问题，您希望不创建批处理，直到阅读5分钟的所有数据。开箱即用的Spark不会提

  9. [k8s] error: Readiness probe failed: HTTP probe failed with statuscode: 503 - 2

    k8sissue: error:Readinessprobefailed:HTTPprobefailedwithstatuscode:503explanation:Kubernetes为准备和活动探测返回HTTP503错误的事实意味着到后端的连接可能有问题。有趣的是，这不是重点。这些探针不是用来执行HTTP流的端到端测试的。探测只用于验证它们所监视的服务是否响应。简单地说，好的是自己设置的readiness探针（probe）起作用了，不好的是，自己的配置文件可能有一些其他方面的问题。具体是什么方面的问题呢？就是创建出来的container里的报错信息Read-onlyfilesystem/xx

  10. k8s日志收集 - 2

    日志收集介绍日志收集的目的：分布式日志数据统一收集，实现集中式查询和管理故障排查安全信息和事件管理报表统计及展示功能日志收集的价值：日志查询、问题排查、故障恢复和故障自愈应用日志分析，错误报警性能分析，用户行为分析k8s常用的日志收集方式：在节点上进行收集，基于daemonset部署日志收集容器，实现json-file类型（标准输出/dev/stdout，错误输出/dev/stderr）日志收集使用sidecar容器收集当前Pod内一个或多个业务容器的日志，通常基于emptyDir实现业务容器与sidecar容器之间的日志共享在容器内内置日志收集进程ES集群部署使用主机如下：IP主机名角色19

随机推荐