草庐IT

parallelize

全部标签

python - 从 "parallel"子目录导入另一个目录中的模块

我想要一个看起来像这样的层次结构(它必须看起来像这样)main_folder\main.pydomain_sub_directory\__init__.pydomain.pyui_sub_direcotory\__init__.pymenu.py我需要从main.py激活ui.py,然后从menu.py访问domain.py。我该怎么做?我主要是这样做的:importui_sub_directory.ui在用户界面中:importdomain_sub_directory.domain但是UI模块看不到域模块。我做错了什么?顺便说一句,我还需要导入我正在使用的类吗?这和之间有什么区别:f

python - 在 joblib `matlab` 上下文中腌制 `Parallel` 对象时出错

我正在Python上下文中并行运行一些Matlab代码(我知道,但这就是正在发生的事情),我遇到了涉及matlab.double的导入错误。相同的代码在multiprocessing.Pool中运行良好,所以我无法弄清楚问题出在哪里。这是一个最小的重现测试用例。importmatlabfrommultiprocessingimportPoolfromjoblibimportParallel,delayed#AglobalobjectthatIwouldliketobeavailableintheparallelsubroutinex=matlab.double([[0.0]])deff

python - 使用 sync_imports() 在 IPython.parallel 引擎上导入自定义模块

我一直在玩弄IPython.parallel,我想使用我自己的一些自定义模块,但无法按照thecookbook上的说明进行操作使用dview.sync_imports()。唯一对我有用的是defmy_parallel_func(args):importsyssys.path.append('/path/to/my/module')importmy_module#andalltherest然后在主要只是为了if__name__=='__main__':#setupdview...dview.map(my_parallel_func,my_args)在我看来,正确的做法应该是withdvi

python - "embarrassingly parallel"在集群上使用python和PBS编程

我有一个生成图形的函数(神经网络模型)。我希望在带有Torque的标准集群上使用PBS从python测试几个参数、方法和不同的输入(意味着函数的数百次运行)。注意:我尝试了parallelpython、ipython等,但从未完全满意,因为我想要更简单的东西。集群处于我无法更改的给定配置中,这种集成python+qsub的解决方案肯定会有益于社区。为了简化事情,我有一个简单的函数,例如:importmyModuledefmodel(input,a=1.,N=100):do_lots_number_crunching(input,a,N)pylab.savefig('figure_'+i

python - cython.parallel.prange 中的 cython 共享内存 - block

我有一个函数foo,它将指向内存的指针作为参数,并写入和读取该内存:cdefvoidfoo(double*data):data[some_index_int]=some_value_doubledo_something_dependent_on(data)我像这样分配给data:cdefintN=some_intcdefdouble*data=malloc(N*sizeof(double))cdefintiforiincython.parallel.prange(N,nogil=True):foo(data)readout(data)我现在的问题是:不同的线程如何处理这个问题?我的猜测

python - IPython.parallel 不使用多核?

我正在试验IPython.parallel,只想在不同的引擎上启动多个shell命令。我有以下笔记本:单元格0:fromIPython.parallelimportClientclient=Client()printlen(client)5然后启动命令:单元格1:%%px--targets0--noblock!pythonserver.py单元格2:%%px--targets1--noblock!pythonmincemeat.py127.0.0.1单元格3:%%px--targets2--noblock!pythonmincemeat.py127.0.0.1它的作用是使用mincem

python - pyspark 错误 : AttributeError: 'SparkSession' object has no attribute 'parallelize'

我在Jupyternotebook上使用pyspark。以下是Spark的设置方式:importfindsparkfindspark.init(spark_home='/home/edamame/spark/spark-2.0.0-bin-spark-2.0.0-bin-hadoop2.6-hive',python_path='python2.7')importpysparkfrompyspark.sqlimport*sc=pyspark.sql.SparkSession.builder.master("yarn-client").config("spark.executor.memo

c# - 为什么这个 Parallel.ForEach 代码会卡住程序?

更多新手问题:这段代码从主窗口的列表中抓取了一些代理(我不知道如何让变量在不同的函数之间可用)并检查每个代理(简单的httpwebrequest)然后将它们添加到名为finishedProxies的列表中。由于某种原因,当我按下开始按钮时,整个程序挂断了。我的印象是Parallel为每个操作创建单独的线程,让UI线程保持独立,以便它响应?privatevoidstart_Click(objectsender,RoutedEventArgse){//PopulatealistofproxiesListproxies=newList();ListfinishedProxies=newLis

c# - Parallel.For 令人失望的性能

我试图通过使用Parallel.For来加快我的计算时间。我有一个8核的IntelCorei7Q840CPU,但与顺序for循环相比,我只能获得4的性能比。这是否与Parallel.For一样好,还是可以微调方法调用以提高性能?这是我的测试代码,顺序:varloops=200;varperloop=10000000;varsum=0.0;for(vark=0;k和并行:sum=0.0;Parallel.For(0,loops,k=>{varsumk=0.0;for(vari=0;i我正在并行化的循环涉及使用“全局”定义的变量sum进行计算,但这应该只占并行化循环内总时间的一小部分。在发

c# - Parallel.Foreach 异常和取消

我试图找出Parallel.Foreach的异常和取消是如何工作的。所有示例似乎都与任务有关。Parallel.Foreach中的异常会发生什么?-我是否将整个循环包装在try/catch(AggregateException)中?-循环中的所有其他任务,甚至尚未开始的任务,是否会在异常被捕获之前运行完成?CancellationToken同样的问题 最佳答案 简而言之,每个循环中的异常被聚合并呈现在AggregateException下。每当发生异常时,允许完成已启动的循环,但不会启动进一步的循环。ForEach确实有很多over