草庐IT

python - MongoDB 许多小上传与一次大上传

coder 2023-11-04 原文

我正在使用 MongoDB 存储数据。我放入的数据被很好地分块，但也可以很容易地组合成一个大块并一次性推送。

一次推送所有数据是否有优势？还是应该单独推送每个 block ？

另外，一次推送的数据量有限制吗？一次推送所有内容将是 ~30MB，而每个 block 只有 ~10KB。无论哪种情况，我都将存储相同数量的文档(每个文档 <1kb)。我正在使用>

最佳答案

主要考虑三个方面:

  1. 通过网络以较小的批处理发送文档的开销。例如，您需要发送多少数据才能发送文档。
  2. 由于等待插入被确认，发送更多批处理的额外延迟有多少。
  3. 事实是，包含更多文档的大消息需要更多时间才能在服务器上执行插入操作，从而导致服务器似乎“锁定”。

大小开销:

发送的插入消息有 20 个字节的固定开销加上“.”的长度。字符串。单个消息的大小限制在几十 MB 范围内，因此您可以节省一些数据传输空间，但对于 1KB 的文档来说，开销比率已经可以忽略不计。

延迟:

根据客户端到服务器的“网络距离”，这可能会产生更大的影响。非异步驱动程序将发送插入消息，然后等待回复。这包括执行插入的时间以及将消息发送到服务器并接收回复的时间。即使在快速的 1/4 毫秒往返本地网络上，发送 3,000 条消息 (30MB/10KB) 也会导致 750 毫秒的等待时间。如果客户端是“远程”的并且有 10 毫秒的 ping 时间，那么我们正在等待 30 秒。异步驱动程序可以通过发送更多请求来填补等待时间。

服务器锁定:

当您在一批中插入更多文档时，服务器将获取并持有数据库锁更长的时间。这将在写入完成时停止与数据库的所有其他交互(包括更新索引等)。根据您的工作负载，这种在服务器执行写入时引起的暂停可能会给其他写入者和读取者带来不必要的问题。

最后，批处理插入有一个主要缺点:如果任何插入失败，您将不知道哪个失败了。服务器可以返回错误但不会说明哪个文档失败。您可以让服务器“继续出错”，但这只会使情况稍微好一些。

我鼓励您查看 Motor Python 驱动程序的扩展。它应该允许您:

  1. 通过在同一连接上发送多个请求而不等待对每个请求的回复来解决延迟问题。
  2. 允许您将每个插入内容作为单独的请求发送，这样您就知道每个插入内容会发生什么。
  3. 并允许其他读取和写入自然地与您正在生成的写入交错。

HTH，罗伯

完全披露:我在 Java Asynchronous Driver 上工作但是任何异步驱动程序都应该能够提供上面列出的好处。

关于python - MongoDB 许多小上传与一次大上传，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19731422/

许多MongoDBsection的lipythonpymongo

有关python - MongoDB 许多小上传与一次大上传的更多相关文章

  1. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  3. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  4. Python 相当于 Perl/Ruby ||= - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。

  5. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  6. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  7. python - 如何读取 MIDI 文件、更改其乐器并将其写回？ - 2

    我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的

  8. 「Python｜Selenium｜场景案例」如何定位iframe中的元素？ - 2

    本文主要介绍在使用Selenium进行自动化测试或者任务时，对于使用了iframe的页面，如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候，可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签，如果直接查找是无法找到的，会抛出没有找到元素的异常。比如近在咫尺的例子就是，CSDN的登录窗体就是使用的iframe，大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素，会抛出NoSuchElementException异常。解决

  9. python ffmpeg 使用 pyav 转换 一组图像 到 视频 - 2

    2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p

  10. Python 刷Leetcode题库，顺带学英语单词（31） - 2

    ValidPalindromeGivenastring,determineifitisapalindrome,consideringonlyalphanumericcharactersandignoringcases. [#125]Example:"Aman,aplan,acanal:Panama"isapalindrome."raceacar"isnotapalindrome.Haveyouconsiderthatthestringmightbeempty?Thisisagoodquestiontoaskduringaninterview.Forthepurposeofthisproblem

随机推荐