DolphinDB作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好ETL作业，Airflow提供了一种很好的思路。本篇教程为生产环境中ETL实践需求提供了一个解决方案，将PythonAirflow引入到DolphinDB的高可用集群中，通过使用Airflow所提供的功能来实现更好管理DolphinDB数据ETL作业，整体架构如下:1.Airflow1.1Airflow简介Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(Directedacyclicgraph,DAG)，Airflow可以定义一组有依赖的任务，按照依赖依
DolphinDB作为一款高性能时序数据库，其在实际生产环境中常有数据的清洗、装换以及加载等需求，而对于该如何结构化管理好ETL作业，Airflow提供了一种很好的思路。本篇教程为生产环境中ETL实践需求提供了一个解决方案，将PythonAirflow引入到DolphinDB的高可用集群中，通过使用Airflow所提供的功能来实现更好管理DolphinDB数据ETL作业，整体架构如下:1.Airflow1.1Airflow简介Airflow是一个可编程，调度和监控的工作流平台，基于有向无环图(Directedacyclicgraph,DAG)，Airflow可以定义一组有依赖的任务，按照依赖依
目录一、背景介绍二、爬虫代码2.1展示爬取结果2.2爬虫代码讲解三、可视化代码3.1读取数据3.2数据清洗3.3可视化3.3.1IP属地分析-柱形图3.3.2评论时间分析-折线图3.3.3点赞数分布-箱线图3.3.4评论内容-情感分布饼图3.3.5评论内容-词云图四、技术总结五、演示视频六、完整源码一、背景介绍您好，我是@马哥python说，一枚10年程序猿。自从2023.3月以来，"淄博烧烤"现象持续占领热搜流量，体现了后疫情时代众多网友对人间烟火气的美好向往，本现象级事件存在一定的数据分析实践意义。我用Python爬取并分析了B站众多网友的评论，并得出一系列分析结论。二、爬虫代码2.1展示
一、业务背景 转转作为国内头部的循环经济产业公司，目前业务架构是中台模式。中台负责提供通用的交易能力，灵活快速响应业务需求，业务方负责前台探索创新，为用户提供有价值的服务。 转转交易中台目前分为基础服务、订单、促销、天路、支付等方向，每个方向都拥有各自业务所需的ES索引，索引量级20+，数据量10亿+。 随着转转业务的快速增长，目前研发对于ES类需求的手动支撑已无法满足业务的快速迭代诉求。目前不仅缺乏技术沉淀和数据积累，而且上手门槛高且效率低。为了解决痛点，ECP(ElasticsearchChainPlanning)系统应用而生。二、现状与问题2.1现状概述根据历史经验，目前索引重建需
一、背景介绍您好，我是@马哥python说，一枚10年程序猿。2023开年这段时间，《狂飙》这部热播剧引发全民追剧，不仅全员演技在线，更是符合反黑主旋律，因此创下多个收视率记录！基于此热门事件，我用python抓取了B站上千条评论，并进行可视化舆情分析，下面详细讲解代码。二、爬虫代码2.1展示爬取结果首先，看下部分爬取数据：爬取结果爬取字段含：视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容。2.2爬虫代码讲解导入需要用到的库：importrequests#发送请求importpandasaspd#保存csv文件importos#判断文件是否存在importtimefromt
数据清洗是数据治理过程中非常重要的一环，它指的是对数据进行清理、筛选、去重、格式化等操作，以确保数据质量和数据准确性。。在本文中，我们将围绕数据清洗展开讨论，并介绍一些数据清洗相关技术。一、数据清洗的概念数据清洗是指对数据进行处理和加工，以使其适合进行分析和建模。数据清洗包括去除重复数据、填补缺失值、处理异常值和转换数据格式等操作，以提高数据的准确性和可靠性。数据清洗通常是数据处理过程的一个必要步骤，它可以消除数据错误和噪声，并提高分析和建模的精度。 数据清洗的原理二、数据清洗的技术以下是一些常见的数据清洗技术：数据去重：去除数据集中的重复记录。这可以通过比较记录中的唯一标识符或关键字段来实现
一、数据分析思路大概可以分为下面这几个步骤：数据采集；原始数据完整性检查；数据清洗、整理；从不同角度对数据进行分析；数据可视化；总结；主要使用Python来进行分析：数据采集:主要涉及的python库包括requests，BeautifulSoup，csv，以及一些其他常用工具。数据完整性检查:包括不同数据来源的对比，以及其他一些常识性的知识。需要对比数据量的多少是否完整，以及有些数据是否缺失。当然，在拿到数据的初期，其实只能做一个初步的判断，有些内容是在整个分析过程中发现的。数据清洗与整理:主要用到Pandas、Numpy以及其他常用库和函数。由于数据比较杂乱，数据清洗与整理涉及的内容比较多
ETL是数据仓库里最重要的数据处理过程，也是最体现工作量的环节，一般会占到整个数据仓库项目工作量的一半以上。●抽取：从数据源获取数据。●转换：转换数据，使之转变为适用于查询和分析的形式和结构。●装载：将转换后的数据导入到最终的目标数据仓库。数据仓库的本质就是要把来自于多个异构的源系统的数据集成在一起，放置于一个集中的位置用于数据分析。如果没有ETL，就无法对异构的数据进行结构化的分析。1、为什么要用ETL呢▶ 当数据来自不同的平台或系统时，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。▶数据来源可以是各种不同的数据库或者文件，比如有的是音频，有的是视频、有的是文字、有的是图片、
[toc]一、背景介绍您好，我是@马哥python说，一枚10年程序猿。以前大家见面都问"吃了没"，最近大家见面都问"阳了没"，奈何疫情反反复复，惟愿身体安康！我用python抓取了B站上千条评论，并进行可视化舆情分析，下面详细讲解代码。二、爬虫代码2.1展示爬取结果首先，看下部分爬取数据：爬取数据爬取字段含：视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容。2.2爬虫代码讲解导入需要用到的库：importrequests#发送请求importpandasaspd#保存csv文件importos#判断文件是否存在importtimefromtimeimportsleep#设置
第三章Python机器学习入门之Series和DataFrame的创建、索引、切片、数据清洗、数据分析等第三章Python机器学习入门之Series和DataFrame的创建、索引、切片、数据清洗、数据分析等一、创建Series1.Series的创建通过列表创建Series通过字典创建Series二、DataFrame的创建通过列表创建DataFrame通过字典创建DataFrame三、.索引和切片Series的索引和切片DataFrame的索引和切片四、数据清洗删除重复行五、替换空值六、数据类型转换七、.数据分析八、总结第一章Python机器学习入门之Pandas库的使用第二章Python机
