在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。一、概述在企业大数据体系的建设过程中，数据的处理一般包含4个步骤：采集、存储、计算和使用。其中，数据采集，是建设过程中的首要的环节，也是至关重要的环节，如果没有采集就没有数据，更谈不上后续的数据处理与使用。所以，我们看到的企业中的运营报表、决策报表、日志监控、审计日志等的数据来源都是基于数据采集。
在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。一、概述在企业大数据体系的建设过程中，数据的处理一般包含4个步骤：采集、存储、计算和使用。其中，数据采集，是建设过程中的首要的环节，也是至关重要的环节，如果没有采集就没有数据，更谈不上后续的数据处理与使用。所以，我们看到的企业中的运营报表、决策报表、日志监控、审计日志等的数据来源都是基于数据采集。
本文根据余韬老师在GOPS2022·上海站演讲整理而成，更多精彩，请关注高效运维公众号。作者简介：余韬，阿里巴巴技术专家。10年工作经验，目前就职于阿里巴巴日志服务可观测平台团队，负责iLogtail开源，主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。一、可观测数据类型与价值1.1IT系统的可观测性“可观测性”最早起源于电气领域，指的是一个系统如果是可观测的，它的状态可以由外部输出来推断。比如一个汽车引擎，普通告警只能知道它的总体状态，如果加入仪表盘，比如水温、气压、转速，我们就可以大致定位它的故障方向，如果要解决这个问题，还是要依赖
本文根据余韬老师在GOPS2022·上海站演讲整理而成，更多精彩，请关注高效运维公众号。作者简介：余韬，阿里巴巴技术专家。10年工作经验，目前就职于阿里巴巴日志服务可观测平台团队，负责iLogtail开源，主要关注大数据分析、数据采集Agent、海量数据接入治理等领域。曾负责百度统计、百度分析云产品的研发工作。一、可观测数据类型与价值1.1IT系统的可观测性“可观测性”最早起源于电气领域，指的是一个系统如果是可观测的，它的状态可以由外部输出来推断。比如一个汽车引擎，普通告警只能知道它的总体状态，如果加入仪表盘，比如水温、气压、转速，我们就可以大致定位它的故障方向，如果要解决这个问题，还是要依赖
“大数据”仨字已经被喊烂了，“大数据分析”也经常被人提起。可到底咋完全是“大数据分析”？为啥大家喊得很多，平时工作中很少感受得到？今天系统讲解一下。01普通人理解的“大数据”普通人理解的大数据可谓千奇百怪，比如：1、一个excel文件200M，多大的数据呀！2、我国人口14亿，这个数据好大呀！3、卧槽，我刚看了车，就有4S店推广电话，肯定收集了我的大数据……这些千奇百怪的理解，都是来自对“数据”本身不够了解导致的。想整明白“大数据”真正的含义，得从数据是从哪里来的讲起。02先理解“小数据”，再谈“大数据”最原始的数据采集方式就是：问卷。由专门的调查人员，借助一张张调查问卷，通过现场询问、测量等
“大数据”仨字已经被喊烂了，“大数据分析”也经常被人提起。可到底咋完全是“大数据分析”？为啥大家喊得很多，平时工作中很少感受得到？今天系统讲解一下。01普通人理解的“大数据”普通人理解的大数据可谓千奇百怪，比如：1、一个excel文件200M，多大的数据呀！2、我国人口14亿，这个数据好大呀！3、卧槽，我刚看了车，就有4S店推广电话，肯定收集了我的大数据……这些千奇百怪的理解，都是来自对“数据”本身不够了解导致的。想整明白“大数据”真正的含义，得从数据是从哪里来的讲起。02先理解“小数据”，再谈“大数据”最原始的数据采集方式就是：问卷。由专门的调查人员，借助一张张调查问卷，通过现场询问、测量等
前言最近天气异常暴热，看到某些地方地表温度居然达到70°，这就离谱所以就想采集一下天气的数据，做个可视化图，回忆一下去年的天气情况开发环境python3.8运行代码pycharm2021.2辅助敲代码requests第三方模块天气数据采集1.发送请求url='https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2022&date%5Bmonth%5D=5'response=requests.get(url)print(response)返
前言最近天气异常暴热，看到某些地方地表温度居然达到70°，这就离谱所以就想采集一下天气的数据，做个可视化图，回忆一下去年的天气情况开发环境python3.8运行代码pycharm2021.2辅助敲代码requests第三方模块天气数据采集1.发送请求url='https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D=54511&areaInfo%5BareaType%5D=2&date%5Byear%5D=2022&date%5Bmonth%5D=5'response=requests.get(url)print(response)返
简介Categraf是一个监控采集Agent，类似Telegraf、Grafana-Agent、Datadog-Agent，希望对所有常见监控对象提供监控数据采集能力，采用All-in-one的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。来自快猫研发团队，和Open-Falcon、Nightingale的研发是一拨人。categraf的代码托管在两个地方：github：https://github.com/flashcatcloud/categrafgitlink：https://www.gitlink.org.cn/flashcat/categraf对比categraf和te
简介Categraf是一个监控采集Agent，类似Telegraf、Grafana-Agent、Datadog-Agent，希望对所有常见监控对象提供监控数据采集能力，采用All-in-one的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。来自快猫研发团队，和Open-Falcon、Nightingale的研发是一拨人。categraf的代码托管在两个地方：github：https://github.com/flashcatcloud/categrafgitlink：https://www.gitlink.org.cn/flashcat/categraf对比categraf和te
