草庐IT

go - 如何将多个并发请求分配给 aws lambda 函数？

coder 2024-07-07 原文

我想构建一个类似 cronjob 的系统，从数据库中获取所有用户并为每个用户发出多个(我的意思是很多)并发请求并执行一些操作并将结果保存到数据库。它将在每天 7 月 24 日每小时运行一次。

我想出的解决方案是:

  1. 从数据库中获取所有用户(这是简单的部分)
  2. 动态创建 lambda 函数并将所有用户分配给这些函数
  3. 每个 lambda 函数发出并发请求和执行 (处理结果并将它们保存到数据库)
  4. 在需要时通过 SNS 传达这些功能

那么，我的方法对这种情况有意义吗？

这里最重要的是扩展(这就是为什么我想将所有用户分配给 lambda 函数，以限制并发请求和资源)，我们如何才能提出一个可扩展且高效的想法来实现用户数量的指数级增长？

或者有其他建议吗？

最佳答案

这是我的解决方案:

如果 100 个并发 lambda 不足以满足您的需要，请创建一个票证以增加您的限制，您将按使用量付费。

但是，您仍然无法确定将来需要多少个 lambda。没有必要在单独的 lambda 中处理每个用户，而是可以使用一大块用户数据调用 lambda。例如比方说，你的最大值。 lambda 限制是 100 并且有 1000 个用户然后你可以做一些事情(我不知道 go，这是一个 python 代码可能不是 100% 语法正确) 

users = get_users_fromdb()   # users = [1,2,3,... 1000]
number_of_users = len(users)
chunk_size = number_of_users / 100   # 100 is your lambda limit
for i in range(0, number_of_users, chunk_size)
    # e.g. chunk_users_data = [1,2,3 ... 10]
    chunk_users_data = users[i * chunk_size : (i + 1) * chunk_size ]
    invoke_lambda_to_process_users_chunk_data()

这是您可以在其他 lambda 中执行的操作

users = event.get('users')
for user in users:
    try:
       process_user(user)
    except Exception as e:
        print(e)  # handle exception / error if you want

更新:

默认情况下，100 是并发运行的 lambda 的限制。如果您有 10 万用户，IMO，您应该寻求支持案例，将您帐户的并发 lambda 限制增加到 1000 或更多。我正在研究 lambda，我们有 10K 的限制。还要记住的另一件事是，不确定您的一个 lambda 调用是否能够处理一个 block 中的所有用户，因此添加一些逻辑以在超时之前重新调用剩余用户。 lambda 可以运行到最大值。 5分钟。您可以从 context 对象获取以毫秒为单位的剩余时间。

关于go - 如何将多个并发请求分配给 aws lambda 函数？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43564886/

配给lambdauserssectiongoconcurrencyaws-lambdagoroutine

有关go - 如何将多个并发请求分配给 aws lambda 函数？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  6. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  7. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  10. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

随机推荐