我不熟悉使用多个cpu来处理作业，想知道是否有人可以让我知道parallelpython(或任何类型的python模块)与hadoop流的优缺点？我有一个非常大的CPU密集型进程，我想分布在多个服务器上。 最佳答案 由于移动数据随着大小的增加而变得越来越难；当谈到并行计算时，数据本地化就变得非常重要。Hadoop作为map/reduce框架最大限度地本地化正在处理的数据。它还为您提供了一种在集群(hdfs)中有效传播数据的方法。所以基本上，即使您使用其他并行模块，只要您没有将数据本地化在您正在处理的计算机上，或者只要您必须始终跨集群