草庐IT

百万级数据导入(oracle)

前言:最近有需求,做一个web端的Excel数据导入的功能,涉及到百万级数据体量的导入,1)excel实现可供选择的是poi和easyexcel实现(因为项目中已依赖poi的低版本依赖,引入easyexcel会提示依赖包冲突,最终选择poi实现,本人后续会记录具体功能实现代码),2)数据库处理及存入上因为涉及到大量数据,本人使多线程方法执行,在存入数据库过程,本人先使用的还是mybatis-plus实现,实现效果比较差:不到百万的数据,导入时间超过半小时,最后采用jdbc的批量导入来实现的该功能,线程连接池使用c3p0实现,具体项目demo后续提供。其中:多线程上未使用线程池,代码如下:引入i

百万级数据导入(oracle)

前言:最近有需求,做一个web端的Excel数据导入的功能,涉及到百万级数据体量的导入,1)excel实现可供选择的是poi和easyexcel实现(因为项目中已依赖poi的低版本依赖,引入easyexcel会提示依赖包冲突,最终选择poi实现,本人后续会记录具体功能实现代码),2)数据库处理及存入上因为涉及到大量数据,本人使多线程方法执行,在存入数据库过程,本人先使用的还是mybatis-plus实现,实现效果比较差:不到百万的数据,导入时间超过半小时,最后采用jdbc的批量导入来实现的该功能,线程连接池使用c3p0实现,具体项目demo后续提供。其中:多线程上未使用线程池,代码如下:引入i

列表函数

append方法可以使用append方法将一个元素添加到现有列表的末尾。nums=[1,2,3]nums.append(4)print(nums)结果:[1,2,3,4]append是列表类的一个方法。 len函数要获取列表中的项目数量,可以使用len函数。nums=[1,3,5,2,4]print(len(nums))结果:5与append方法不同,len是一个正常的函数,而不是一个方法。这意味着它写在被调用的列表之前。insert方法insert方法与append相似,不同之处在于它允许您在列表中的任何位置插入一个新元素,而不仅仅是在最后。words=["W3Cschool","Good"

列表函数

append方法可以使用append方法将一个元素添加到现有列表的末尾。nums=[1,2,3]nums.append(4)print(nums)结果:[1,2,3,4]append是列表类的一个方法。 len函数要获取列表中的项目数量,可以使用len函数。nums=[1,3,5,2,4]print(len(nums))结果:5与append方法不同,len是一个正常的函数,而不是一个方法。这意味着它写在被调用的列表之前。insert方法insert方法与append相似,不同之处在于它允许您在列表中的任何位置插入一个新元素,而不仅仅是在最后。words=["W3Cschool","Good"

关于 r:将向量/矩阵添加到向量/矩阵列表中

Addvectors/matricestoalistofvectors/matrices我有一个向量或矩阵列表,如下所示:1234567ll#[[1]]#[1]123#[[2]]#[1]456现在我想在列表中添加一个新的向量/矩阵。使用c()不是一个好方法,因为新向量的每个项目都将作为单个列表元素添加:123456789101112131415c(l,7:9)#[[1]]#[1]123#[[2]]#[1]456#[[3]]#[1]7#[[4]]#[1]8#[[5]]#[1]9也list()不能正常工作,它创建一个长度为2的嵌套列表,而不是一个长度为3的列表:12345678910list(l,

关于 r:将向量/矩阵添加到向量/矩阵列表中

Addvectors/matricestoalistofvectors/matrices我有一个向量或矩阵列表,如下所示:1234567ll#[[1]]#[1]123#[[2]]#[1]456现在我想在列表中添加一个新的向量/矩阵。使用c()不是一个好方法,因为新向量的每个项目都将作为单个列表元素添加:123456789101112131415c(l,7:9)#[[1]]#[1]123#[[2]]#[1]456#[[3]]#[1]7#[[4]]#[1]8#[[5]]#[1]9也list()不能正常工作,它创建一个长度为2的嵌套列表,而不是一个长度为3的列表:12345678910list(l,

Holt-Winters模型原理分析及代码实现(python)

引言最近实验室老师让我去预测景区内代步车辆的投放量,于是乎,本着“一心一意地输出年富力强的劳动力”这份初心,我就屁颠屁颠地去找资料,然后发现了Holt-Winters模型,感觉这个模型可以有,于是就去研究一番,并总结成这篇博客了。原理分析移动平均(Thesimplemovingaverage(SMA))直观上,最简单的平滑时间序列的方法是实现一个无权重的移动平均,目前已知的方法是用窗口函数,平滑统计量St就是最近k个观察值的均值。公式如下:这样的方法存在明显的缺陷,当k比较小时,预测的数据平滑效果不明显,而且突出反映了数据最近的变化;当k较大时,虽然有较好的平滑效果,但是预测的数据存在延迟。而

Holt-Winters模型原理分析及代码实现(python)

引言最近实验室老师让我去预测景区内代步车辆的投放量,于是乎,本着“一心一意地输出年富力强的劳动力”这份初心,我就屁颠屁颠地去找资料,然后发现了Holt-Winters模型,感觉这个模型可以有,于是就去研究一番,并总结成这篇博客了。原理分析移动平均(Thesimplemovingaverage(SMA))直观上,最简单的平滑时间序列的方法是实现一个无权重的移动平均,目前已知的方法是用窗口函数,平滑统计量St就是最近k个观察值的均值。公式如下:这样的方法存在明显的缺陷,当k比较小时,预测的数据平滑效果不明显,而且突出反映了数据最近的变化;当k较大时,虽然有较好的平滑效果,但是预测的数据存在延迟。而