草庐IT

google-app-engine - App Engine Datastore 上的 Golang - 使用 PutMulti 提高性能

coder 2024-07-08 原文

我有一个应该能够处理数百个并发请求的 GAE Golang 应用程序，对于每个请求，我都会对输入进行一些处理，然后将其存储在数据存储区中。

使用任务队列(appengine/delay lib)我获得了相当不错的性能，但是为每个请求执行单行插入似乎仍然非常低效(即使插入是使用任务队列延迟的)。

如果这不是应用引擎，我可能会将输出附加到一个文件中，并且每隔一段时间我会使用 cron 作业/其他类型的计划服务将文件批量加载到数据库中。

所以我的问题是:

  1. 是否有我可以在 App Engine 上实现的等效方案？我曾是 思考 - 也许我应该将一些行写入 memecache，并且 然后每隔几秒钟我将批量加载所有行 那里并清除缓存。
  2. 这真的需要吗？数据存储可以吗 处理数以千计的并发写入 - 每个 http 请求写入一次 应用正在获取？

最佳答案

实际上取决于您的设置。你在使用祖先查询吗？如果是这样，那么您的每个祖先(以及所有子孙)每秒只能写入 1 次。数据存储有一个自然队列，所以如果你尝试写得太快，它就会排队。如果您写得太多太快，这只会成为一个问题。您可以阅读一些最佳实践 here .

如果您认为您将超过该限制，请使用 pull queues与 async multi puts .您会将每个实体放入队列中。使用支持模块(10 分钟超时)，您可以分批提取条目(10-50-100 ...)并分批对它们执行 put_async。它将以适当的速度处理它们。在它工作时，您可以排队下一批。请注意超时。

关于google-app-engine - App Engine Datastore 上的 Golang - 使用 PutMulti 提高性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25665709/

google-app-engineDatastoresectionnoreferrerappenginegogoogle-cloud-datastore

有关google-app-engine - App Engine Datastore 上的 Golang - 使用 PutMulti 提高性能的更多相关文章

  1. ruby - RuntimeError(自动加载常量 Apps 多线程时检测到循环依赖 - 2

    我收到这个错误:RuntimeError(自动加载常量Apps时检测到循环依赖当我使用多线程时。下面是我的代码。为什么会这样？我尝试多线程的原因是因为我正在编写一个HTML抓取应用程序。对Nokogiri::HTML(open())的调用是一个同步阻塞调用，需要1秒才能返回，我有100,000多个页面要访问，所以我试图运行多个线程来解决这个问题。有更好的方法吗？classToolsController0)app.website=array.join(',')putsapp.websiteelseapp.website="NONE"endapp.saveapps=Apps.order("

  2. ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  3. ruby-on-rails - 如何重命名或移动 Rails 的 README_FOR_APP - 2

    当我在我的Rails应用程序根目录中运行rakedoc:app时，API文档是使用/doc/README_FOR_APP作为主页生成的。我想向该文件添加.rdoc扩展名，以便它在GitHub上正确呈现。更好的是，我想将它移动到应用程序根目录(/README.rdoc)。有没有办法通过修改包含的rake/rdoctask任务在我的Rakefile中执行此操作？是否有某个地方可以查找可以修改的主页文件的名称？还是我必须编写一个新的Rake任务？额外的问题:Rails应用程序的两个单独文件/README和/doc/README_FOR_APP背后的逻辑是什么？为什么不只有一个？

  4. ruby - 使用 postgres.app 在 rvm 下要求 pg 时出错 - 2

    我正在使用Postgres.app在OSX(10.8.3)上。我已经修改了我的PATH，以便应用程序的bin文件夹位于所有其他文件夹之前。Rammy:~phrogz$whichpg_config/Applications/Postgres.app/Contents/MacOS/bin/pg_config我已经安装了rvm并且可以毫无错误地安装pggem，但是当我需要它时我得到一个错误:Rammy:~phrogz$gem-v1.8.25Rammy:~phrogz$geminstallpgFetching:pg-0.15.1.gem(100%)Buildingnativeextension

  5. ruby - Google-api-ruby-client 翻译 API 示例 - 2

    很高兴看到google代码:google-api-ruby-client项目，因为这对我来说意味着Ruby人员可以使用GoogleAPI-s来完善代码。虽然我现在很困惑，因为给出的唯一示例使用Buzz，并且根据我的实验，Google翻译(v2)api的行为必须与google-api-ruby-client中的Buzz完全不同。.我对“Explorer”演示示例很感兴趣——但据我所知，它并不是一个探索器。它所做的只是调用一个Buzz服务，然后浏览它已经知道的关于Buzz服务的事情。对我来说，Explorer应该让您“发现”所公开的服务和方法/功能，而不一定已经知道它们。我很想听听使用这个

  6. ruby - 为 capybara 设置 app_host 的内容 - 2

    我的测试尝试访问网页并验证页面上是否存在某些元素。例如，它访问http://foo.com/homepage.html并检查Logo图像，然后访问http://bar.com/store/blah.html并检查页面上是否出现了某些文本。我的目标是访问经过Kerberos身份验证的网页。我发现Kerberos代码如下:主文件uri=URI.parse(Capybara.app_host)kerberos=Kerberos.new(uri.host)@kerberos_token=kerberos.encoded_tokenkerberos.rb文件classKerberosdefini

  7. ruby - 如何从 URL 中删除 Google 跟踪参数 (UTM)？ - 2

    我有一堆要清理的URL。它们都包含UTM参数，在这种情况下不是必需的，或者是有害的。示例:http://houseofbuttons.tumblr.com/post/22326009438?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+HouseOfButtons+%28House+of+Buttons%29所有可能的参数都以utm_开头。如何使用ruby​​脚本/结构轻松删除它们而不破坏其他潜在的“好”URL参数？ 最佳答案 您可以将正则表达式应用于url以清

  8. ruby - 导轨 3 : Creating app with internal plugin system - 2

    我想在Rails中使用插件系统创建一个应用程序。潜在用户应该能够上传(或更好地从存储库安装)一个插件并安装它，使我的应用程序能够做更多的事情。这应该在没有FTP/SSH/对服务器的任何低级别访问的情况下完成。关于如何在Rails3中完成它，是否有任何好的gems或教程？ 最佳答案 你看过http://edgeguides.rubyonrails.org/plugins.html了吗？？它似乎不是100%兼容Rails3，但它可以帮助您入门。我看过的大多数插件文章都涉及Rails2。 关于

  9. ruby - 尝试授权服务器到 ruby​​ 中的服务器类型应用程序以访问 Google 日历时无效授权 - 2

    我正在尝试为自己创建一个直接连接到我的日历的应用程序……但我从不想参与重新验证。我只想编写一次身份验证代码并完成它。授权码如下:key=Google::APIClient::PKCS12.load_key(SERVICE_ACCOUNT_PKCS12_FILE_PATH,PASSWORD)asserter=Google::APIClient::JWTAsserter.new(SERVICE_ACCOUNT_EMAIL,'https://www.googleapis.com/auth/calendar',key)@client=Google::APIClient.new@client.a

  10. ruby-on-rails - 如何编写 Rails 4 测试以使用 omniauth-google-oauth2 gem 创建 session ？ - 2

    我正在尝试为使用omniauth-google-oauth2gem创建session编写测试。我是否需要将env["omniauth.auth"]变量与post:create一起传递？也许当我试图这样做时，我做错了。我得到的错误如下所示...Rake测试错误1)Error:SessionsControllerTest#test_should_get_create:NoMethodError:undefinedmethod`provider'fornil:NilClassapp/models/user.rb:6:in`from_omniauth'app/controllers/sessi

随机推荐