草庐IT

python - 在文本文件中搜索模式的快速算法

我有一个double组,大约200,000行乘以100列,我正在寻找一种快速算法来查找包含与给定模式最相似的序列的行(该模式可以是10到100个元素的任意位置).我使用的是python,所以蛮力法(下面的代码:遍历每一行和起始列索引,并计算每个点的欧几里得距离)大约需要三分钟。numpy.correlate函数有望更快地解决这个问题(在不到20秒内运行相同的数据集)。但是,它只是计算整行模式的滑动点积,这意味着要比较相似性,我必须先对结果进行归一化。标准化互相关需要计算每个数据切片的标准偏差,这立即否定了首先使用numpy.correlate的速度改进。是否可以在python中快速计算