我正在尝试使用Dedupe包将一个小的杂乱数据合并到一个规范表中。由于规范表非常大(1.22亿行)，我无法将其全部加载到内存中。我目前使用的方法基于this需要一整天的时间来处理测试数据:一个存储在dict中的300k行的杂乱数据表，以及一个存储在mysql中的600k行的规范数据表。如果我在内存中完成所有操作(以字典形式读取规范表)，则只需半小时。有没有办法让它更有效率？blocked_pairs=block_data(messy_data,canonical_db_cursor,gazetteer)clustered_dupes=gazetteer.matchBlocks(bloc