草庐IT

任务调度Hadoop

全部标签

go - 多个goroutine的调度

packagemainimport"fmt"funcsquare(cchanint){fmt.Println("[square]reading(4)")num:=输出:[main]main()started(1)[main]senttestNumtosquareChan(2)[cube]reading(3)[square]reading(4)[square]calc(5)[main]resuming(6)[main]senttestNumtocubeChan(7)[main]resuming(8)[main]readingfromchannels(9)backfrom[square](

google-app-engine - 具有运行时 go111 url 调度问题的 dev_appserver.py

我仍在努力让我的旧式应用引擎至少在go111下工作(由于依赖于内存缓存,go112将无法工作)。我现在正在为我的静态文件的app.yaml配置问题绊倒,我之前使用了一个完全静态的目录布局,只是在根目录中指定了一些动态处理程序,如下所示:runtime:go111handlers:-url:/_ah/.*script:autologin:adminsecure:always-url:/dynamicscript:autosecure:always-url:/admin/.*script:autologin:adminsecure:always-url:(.*)/static_files:

concurrency - 潜在递归任务的工作池(即,每个作业都可以排队其他作业)

我正在编写一个应用程序,用户可以从多个“作业”(实际上是URL)开始。在开始(主例程)时,我将这些URL添加到队列中,然后启动x个处理这些URL的goroutines。在特殊情况下,URL指向的资源可能包含更多必须添加到队列中的URL。这3名worker正在等待新工作的到来并处理它们。问题是:一旦每个worker都在等待工作(并且没有人在生产),worker应该完全停止。因此,要么所有人都工作,要么没有人工作。我当前的实现看起来像这样,但我认为它并不优雅。不幸的是,我想不出一个不包含竞争条件的更好方法,而且我不完全确定这个实现是否真的按预期工作:varqueue//fromsomewh

sql - Go 相当于 GCD 串行调度队列

是否有与Apple的GCD串行调度队列等效的Go?到目前为止,我只找到了一种解决方案,即函数channel。work:=make(chanfunc())我会有一个函数从这个channel接收并调用接收到的函数。这些函数必须按FIFO顺序执行。在Go中是否有更好的方法或结构来执行此操作?这应该不会有什么不同,但我希望将SQL查询排队以为此在FIFO中运行。 最佳答案 @OneOfOne,很接近但不完全是。我最终在Go中实现了串行调度队列可用here.它基本上是一个go例程,阻塞在func()类型的channel上,并运行按顺序传递的函

go - Golang的组合继承如何将Commands调度到合适的CommandHandler?

我想学习用Go编程,我决定作为一个宠物程序,我会为几个CommandHandler做一个简单的不同命令的调度程序(如果CommandHandler与它应该处理的命令同名。)我的问题是,当我想要一个CommandHandlerManager来发布将被分派(dispatch)到正确的CommandHandler的命令时,它告诉我我需要有一个具体的HelloWorldCommand实现,因为HelloWorldCommandHandler没有实现Command的接口(interface).编译时的错误信息E:\Desktop\ManBear\golang\src>gorunmain.go#c

go - GoLang 中的 HouseRobber 编程任务中的错误

问题陈述相当简单:Givenalistofintegersreturnthemaximumsumofnonadjacentelements..例如houseRobber([5,0,0,5])=>10和houseRobber([2,1,2])=>4OnesolutionIdecidedonhas2parts:生成所有可行的索引列表(例如[5,0,0,5]=>[[0,2],[0,3],[1,3]])确定给定索引集的最大元素总和。(例如[5,0,0,5],[[0,2],[0,3],[1,3]]=>10)所以我开始实现我的解决方案。我已将脚本包设为主要包并包含一个我自己的失败测试,​​以便任何

c# - 来自 golang 和 c# 的 elixir 函数的并行或异步任务

我正在和Phoenix一起学习Elixir。我很容易地构建了一些RESTAPI服务器,但是我还需要实现一个要求。我需要能够执行并行或异步任务以从后端调用/执行某些API,并将这些结果放入JSON响应中。这就是我从Go和C#中大致实现它的方式//GolanguserCount:=make(chanint)usersList:=make(chan[]Users)gogetAggregateUserCounts(userCount)gogetGetUsersList(usersList)//dootherheavytasksfromherehttpJsonResponse(map[strin

go - 将自定义 kubernetes 调度程序部署为 pod

如何将自定义kubernetes调度程序部署为使用golang语言编写的pod? 最佳答案 我相信这是有据可查的heremy-scheduler.yaml类似这样的内容:apiVersion:v1kind:ServiceAccountmetadata:name:my-schedulernamespace:kube-system---kind:ClusterRoleBindingapiVersion:rbac.authorization.k8s.io/v1metadata:name:my-scheduler-as-kube-sched

Golang例程每分钟任务

如何打发time.Sleep(time.Until(nextExecute))?这是一个旧的session清理任务,需要作为后台任务每分钟执行一次。工作正常,但在SIGINT之后,所有程序仍在等待时间。sleep...知道如何消磨时间。sleep或备用例程代码吗?funcSessionCleanupTask(){varquit=make(chanos.Signal)signal.Notify(quit,syscall.SIGHUP,syscall.SIGINT,syscall.SIGTERM,syscall.SIGQUIT)//kbdloss,ctrl+c,terminate,quit

go - 仅在合并到 master 时运行任务

我使用以下配置,它按预期工作,它在每个PR上运行命令或合并到主服务器,现在我想进行一些集成测试,我想仅在合并到主服务器时运行,所有PR都应该保持不变(并像以前一样运行以下配置)。这里的细微差别是,对于集成测试,我需要其他docker图像和不同的运行命令来执行(应该只在合并到master时执行),是否可以使用CircleCI来完成?p>#GolangCircleCI2.0configurationfileversion:2jobs:build:docker:#specifytheversion-image:circleci/golang:1.11working_directory:/go