草庐IT

集合幂级数学习笔记

Posttime:2022-02-1714:11:52本篇文章借鉴于武汉二中吕凯风的2015集训队论文《集合幂级数的性质与应用及其快速算法》。一、声明我们令全集为有限集\(U=\{1,2,...,n\}\),其中\(n=|U|\),设所有未标明的\(S\)都是\(U\)的子集。若\(X\)是一个集合,令\(2^{X}\)表示\(X\)的幂集(所有子集构成的集合)。二、定义设\(F\)是一个域,则称函数\(f:2^{U}\toF\)是\(F\)上的一个集合幂级数。对于每个\(S\in2^U\),记\(f_S\)为\(S\)处的函数值,称\(f_S\)为集合幂级数\(S\)项的系数。集合幂级数之间

建议收藏!python读取千万级数据自动写入 MySQL 数据库

Python读取数据自动写入MySQL数据库,这个需求在工作中是非常普遍的,主要涉及到python操作数据库,读写更新等,数据库可能是mongodb、es,他们的处理思路都是相似的,只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到mysql,分为两个场景,三种方式。一、场景一:数据不需要频繁的写入mysql使用navicat工具的导入向导功能。支持多种文件格式,可以根据文件的字段自动建表,也可以在已有表中插入数据,非常快捷方便。场景二:数据是增量的,需要自动化并频繁写入mysql测试数据:csv格式,大约1200万行importpandasaspddata=pd

建议收藏!python读取千万级数据自动写入 MySQL 数据库

Python读取数据自动写入MySQL数据库,这个需求在工作中是非常普遍的,主要涉及到python操作数据库,读写更新等,数据库可能是mongodb、es,他们的处理思路都是相似的,只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到mysql,分为两个场景,三种方式。一、场景一:数据不需要频繁的写入mysql使用navicat工具的导入向导功能。支持多种文件格式,可以根据文件的字段自动建表,也可以在已有表中插入数据,非常快捷方便。场景二:数据是增量的,需要自动化并频繁写入mysql测试数据:csv格式,大约1200万行importpandasaspddata=pd

百万级数据导入(oracle)

前言:最近有需求,做一个web端的Excel数据导入的功能,涉及到百万级数据体量的导入,1)excel实现可供选择的是poi和easyexcel实现(因为项目中已依赖poi的低版本依赖,引入easyexcel会提示依赖包冲突,最终选择poi实现,本人后续会记录具体功能实现代码),2)数据库处理及存入上因为涉及到大量数据,本人使多线程方法执行,在存入数据库过程,本人先使用的还是mybatis-plus实现,实现效果比较差:不到百万的数据,导入时间超过半小时,最后采用jdbc的批量导入来实现的该功能,线程连接池使用c3p0实现,具体项目demo后续提供。其中:多线程上未使用线程池,代码如下:引入i

百万级数据导入(oracle)

前言:最近有需求,做一个web端的Excel数据导入的功能,涉及到百万级数据体量的导入,1)excel实现可供选择的是poi和easyexcel实现(因为项目中已依赖poi的低版本依赖,引入easyexcel会提示依赖包冲突,最终选择poi实现,本人后续会记录具体功能实现代码),2)数据库处理及存入上因为涉及到大量数据,本人使多线程方法执行,在存入数据库过程,本人先使用的还是mybatis-plus实现,实现效果比较差:不到百万的数据,导入时间超过半小时,最后采用jdbc的批量导入来实现的该功能,线程连接池使用c3p0实现,具体项目demo后续提供。其中:多线程上未使用线程池,代码如下:引入i