草庐IT

python - 执行数千个独立事务的可靠方法?

我的应用程序遇到瓶颈,很难找到解决方案。一点背景:我的应用程序ping一个API以收集有关数十万个项目的信息并将它们存储到数据存储我们需要对这些项的混合维度执行简单的聚合,我们在存储项期间尝试和计算这些维度。当前实现:我们根据需要手动开始下载这些项目,这会在专门用于下载这些项目的后端创建任务。每个任务将根据分页和获取每个项目所需的API调用数量启动更多任务。每个任务将下载、解析和批量存储项目,同时通过使用字典将我们想要的聚合保存在内存中。在每个任务执行结束时,我们将聚合字典写入拉取队列。一旦我们检测到API调用即将结束,我们就会启动一个聚合任务到第二个后端配置这个“聚合任务”从拉取队列

c# - 如何在不锁定 GUI 的情况下将数千个项目添加到绑定(bind)集合

我有一个设置,可能会将数千个项目(想想3000-5000)添加到ObservableCollection绑定(bind)到某个可视界面。目前,添加它们的过程非常缓慢(大约4秒/1000项),当然,在此期间GUI没有响应。有什么好的方法可以同时将那么多项目移动到一个集合中而不用担心系统锁定?我看过DispatcherTimer但我不确定它是否会提供我需要的一切。另一个问题-我可以做些什么来加快这些对象的创建速度,以便将它们添加到集合中不会花费很长时间吗?目前我这样使用它们:Collection.Add(newItem())预先在后台线程中生成项目是否会显着减少添加项目所需的时间?编辑:虚

c# - 使用 WPF 绘制数千个数据点的最高效方法?

我写了一个显示财务数据的图表。当我使用PathGeometry以及PathFigure和LineSegment绘制显示为连接线的不到10.000个点时,性能很好。但是现在我需要同时显示多达100.000个点(不滚动),而50.000个点已经很慢了。我在考虑StreamGeometry,但我不确定,因为它与将信息存储为字节流的PathGeometry基本相同。有没有人有想法使它的性能更高,或者也许有人已经做过类似的事情?编辑:这些数据点一旦绘制就不会改变,所以如果有可能对其进行优化,请告诉我(线段现在被卡住)。编辑:我试过StreamGeometry。由于某种原因,创建图形花费了更长的时

go - 我必须发送数千条提醒,有什么办法可以避免每分钟都被提醒?

我有一个像这样的结构:typeNotificationsstruct{IdintStart*time.Time}notifications:=db.GetNotifications()所以现在我需要在时间与当前时间匹配时发送这些通知。12018-11-0709:05:0022018-11-0709:05:0032018-11-0709:15:00..对我来说最简单的方法是使用自动收报机:ticker:=time.NewTicker(30*time.Second)deferticker.Stop()for{有没有更有效的方法来做到这一点?匹配时间的最佳方法是什么,我是否必须在我的if语句

go - 如何在 Go 中有效地处理数千个保持事件连接?

使用golang的net/http服务器来处理连接,是否有一种模式可以更好地处理10,000个保持事件的连接,每个连接的每秒请求数相对较低?我使用Wrk之类的基准性能是每秒50,000个请求,而对于实际流量(来自实时出价交易所),我很难超过每秒8,000个请求。我知道来自硬件负载均衡器的连接多路复用是可能的,但似乎可以在Go中实现相同类型的模式。 最佳答案 您可以使用像JSONRPC这样的IPC协议(protocol)在本地和远程服务器上分配负载通过例如UNIXandTCPsockets.相关:GoInter-ProcessComm

linux - 删除包含数千个文件的大目录的最佳和最快方法是什么(在 ubuntu 中)

据我所知,命令如下find-typef-execrm{}\;不是删除大量文件(所有文件,包括子文件夹)的最佳变体。如果你有少量文件,它工作得很好,但如果你的子文件夹中有10+mlns文件,它可能会挂起服务器。有谁知道解决这个问题的具体linux命令吗? 最佳答案 这可能看起来很奇怪但是:$rm-rf 关于linux-删除包含数千个文件的大目录的最佳和最快方法是什么(在ubuntu中),我们在StackOverflow上找到一个类似的问题: https://st

php - POST 数千个变量与一个长 JSON 字符串 : what is preferrable?

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭9年前。Improvethisquestion我需要将大约200x50(行、列)的表值从jQuery发布到PHP。两种选择:1)将其作为包含10,000个变量的数组发送(增加php.inimax_input_vars)。2)将数组序列化为JSON字符串,将其作为字符串发布并在服务器端用PHP解码。什么是优选的?选项1有任何潜在问题吗?谢谢附言。更新。在高达250x50单元格的大型输入表上测试这两种药水后,看起来第一个选项要快得多:1-

php - 如何在后台使用 PHP 和 MySQL 删除数千行?

我有一个网站,人们可以向该网站发布图片,人们可以为每个喜欢的帖子点赞,表格中有一行,如果有人删除了帖子,我想删除该特定帖子的每一行。数量可能很大,比如15,000或更多,删除帖子的用户等待的时间可能很长。要删除帖子,我想在后台删除另一个脚本中的15,000行。我怎样才能做到这一点? 最佳答案 很多选择。这更像是一个架构/工程决策,而不是其他任何事情。我会抛出一个想法。从软删除开始。与其实际删除帖子(及其关系),不如将状态设置为已删除。在休息时间设置CRON作业以运行查询以获取状态为已删除的帖子并在那时永久删除所有内容。刚刚注意到@B

java - 具有数千个线程的内存设置

我正在Linux机器(AMD6核,16GBRAM)上使用JVM(Oracle1.764位),以了解应用程序中的线程数如何影响性能。我希望测量上下文切换在什么时候会降低性能。我创建了一个创建线程执行池的小应用程序:Executors.newFixedThreadPool(numThreads)我每次运行程序都会调整numThreads,看看效果。然后我将numThread个作业(java.util.concurrent.Callable的实例)提交到池中。每一个都增加一个AtomicInteger,做一些工作(创建一个随机整数数组并将其打乱),然后hibernate一段时间。这个想法是模

python - 将数千张图像读入一个大 numpy 数组的最快方法

我正在尝试找到将一堆图像从目录读取到numpy数组中的最快方法。我的最终目标是计算所有这些图像中像素的最大、最小和第n个百分位数等统计数据。当所有图像的像素都在一个大的numpy数组中时,这是简单而快速的,因为我可以使用内置的数组方法,例如.max和.min,并且np.percentile函数。以下是25张tiff图像(512x512像素)的几个示例时序。这些基准来自在jupyter-notebook中使用%%timit。差异太小,仅对25张图片没有任何实际意义,但我打算在未来阅读数千张图片。#Importsimportosimportskimage.ioasioimportnumpy