草庐IT

dispatch_async

全部标签

python - joblib 中的 batch_size 和 pre_dispatch 到底是什么意思

来自此处的文档https://pythonhosted.org/joblib/parallel.html#parallel-reference-documentation我不清楚batch_size和pre_dispatch到底是什么意思。让我们考虑使用'multiprocessing'后端、2个作业(2个进程)并且我们有10个任务要计算的情况。据我了解:batch_size-一次控制pickle任务的数量,所以如果你设置batch_size=5-joblib将pickle并立即向每个进程发送5个任务,然后到达那里,他们将按顺序一个接一个地解决。使用batch_size=1joblib

python - 多处理池 'apply_async' 似乎只调用一次函数

我一直在关注文档以尝试了解多处理池。我想到了这个:importtimefrommultiprocessingimportPooldeff(a):print'f('+str(a)+')'returnTruet=time.time()pool=Pool(processes=10)result=pool.apply_async(f,(1,))printresult.get()pool.close()print'[i]Timeelapsed'+str(time.time()-t)我正在尝试使用10个进程来计算函数f(a)。我在f中放置了一条打印语句。这是我得到的输出:$pythonpoolte

Python async/await 下载 url 列表

我正在尝试从FTP服务器下载30,000多个文件,经过谷歌搜索后,使用异步IO似乎是个好主意。但是,下面的代码无法下载任何文件并返回超时错误。我真的很感激任何帮助!谢谢!classpdb:def__init__(self):self.ids=[]self.dl_id=[]self.err_id=[]asyncdefdownload_file(self,session,url):try:withasync_timeout.timeout(10):asyncwithsession.get(url)asremotefile:ifremotefile.status==200:data=awai

python - win32.Dispatch 与 Python 中的 win32.gencache。优缺点都有什么?

我最近一直在使用python中的win32com.client作为Windows应用程序的API,但我很难理解一些基本的东西。我一直在用一个叫做WEAP的程序使用它,方法如下importwin32com.clientwin32com.client.Dispatch("WEAP.WEAPApplication")现在,我想将它与Excel一起使用,并找到了前几行的替代方法,其中之一如下(取自Python:OpenExcelWorkbookusingWin32COMApi)importwin32com.clientaswin32excel=win32.gencache.EnsureDisp

python - 将 yield 与多个 ndb.get_multi_async 一起使用

我正在尝试提高我当前从应用引擎数据存储区查询的效率。目前,我使用的是同步方法:classHospital(ndb.Model):name=ndb.StringProperty()buildings=ndb.KeyProperty(kind=Building,repeated=True)classBuilding(ndb.Model):name=ndb.StringProperty()rooms=ndb.KeyProperty(kind=Room,repeated=True)classRoom(ndb.Model):name=ndb.StringProperty()beds=ndb.Ke

带有 map_async 的 python 多处理池

我尝试在python中将多处理包与池一起使用。我有一个由map_async函数调用的函数f:frommultiprocessingimportPooldeff(host,x):printhostprintxhosts=['1.1.1.1','2.2.2.2']pool=Pool(processes=5)pool.map_async(f,hosts,"test")pool.close()pool.join()这段代码有下一个错误:Traceback(mostrecentcalllast):File"pool-test.py",line9,inpool.map_async(f,hosts,

Python namedtuple 作为 apply_async(..) 回调的参数

我正在编写一个简短的程序,我想在其中异步调用一个函数,这样它就不会阻塞调用者。为此,我使用了python的multiprocessing模块中的Pool。在异步调用的函数中,我想返回一个namedtuple以符合我程序其余部分的逻辑,但我发现namedtuple确实似乎不是从派生进程传递到回调的受支持类型(可能是因为它不能被腌制)。这是问题的最小重现。frommultiprocessingimportPoolfromcollectionsimportnamedtuplelogEntry=namedtuple("LogEntry",['logLev','msg'])defdoSometh

python - win32com.client.Dispatch ("WScript.Shell"究竟是什么)?

我正在寻找一段可以模拟击键的Python代码。我使用win32com.client.Dispatch("WScript.Shell")偶然发现了一些东西。我(根本)不是Windows的粉丝,但它是为了帮助friend实现游戏自动化。我遇到了一个问题,例如,这在记事本或Firefox上工作正常,它确实可以写,但不能在他的游戏中写。为了确定它是来自他的游戏还是我的自动化,我想了解一些有关win32com.client以及真正代表WScript.Shell的详细信息谢谢大家 最佳答案 一些引用:Aswediscussedpreviousl

python - 由于 'INFO spawnerr: unknown error making dispatchers for ' app_name' : EACCES',无法使用 nohup 启动服务

我正尝试与supervisor一起启动服务,但我收到一条错误消息INFOspawnerr:unknownerrormakingdispatchersfor'app_name':EACCES这是我的supervisord.conf文件:[supervisord]logfile=/tmp/supervisord.loglogfile_maxbytes=50MB;changethesedependingonhowmanylogslogfile_backups=10;youwanttokeeploglevel=infopidfile=/tmp/supervisord.pidnodaemon=t

python3 : singledispatch in class, 如何分派(dispatch)自身类型

使用python3.4。在这里我想使用singledispatch在__mul__方法中分派(dispatch)不同的类型。像这样的代码:classVector(object):##somecodenotpaste@functools.singledispatchdef__mul__(self,other):raiseNotImplementedError("can'tmulthesetype")@__mul__.register(int)@__mul__.register(object)#Becasuecan'tuseVector,Ihavetouseobjectdef_(self,