草庐IT

elastic-mapreduce-cli

全部标签

amazon-web-services - 将 Go 1.6 Web 应用程序部署到 AWS Elastic Beanstalk?

我想将我的Web应用程序部署到ElasticBeanstalk,但它似乎只支持Go1.4而不是Go1.6。有没有办法获得自定义图像?我想要1.6的原因是因为它支持vendor并且我的网络应用程序依赖于第3方包。 最佳答案 最好的选择是使用docker.以下是将您的应用程序部署到ElasticBeanstalk的步骤:在创建新环境时选择通用Docker平台。将名为Dockerfile的文件放入项目根目录,内容如下:FROMgolang:1.6.2-onbuildEXPOSE80添加canonicalimportpath到你的main.

go - 如何在 AWS SDK 中实现 AWS CLI Sync 命令的性能

CLI中的awss3sync命令可以非常快速地下载大量文件,而我无法使用AWSGoSDK实现相同的性能。我的存储桶中有数百万个文件,所以这对我来说至关重要。我还需要使用listpages命令,以便我可以添加syncCLI命令不支持的前缀。我曾尝试使用多个goroutine(10到1000个)向服务器发出请求,但与CLI相比,时间要慢得多。每个文件大约需要100毫秒来运行GoGetObject函数,这对于我拥有的文件数量来说是NotAcceptable。我知道AWSCLI在后端也使用PythonSDK,那么它为什么有如此好的性能(我在boto和Go中试过我的脚本)。我正在使用ListOb

go - 如何在 Go CLI 程序中输入不带参数的可选标志

我已经阅读了以下两个用于创建标志的库的文档。:https://golang.org/pkg/flag/https://github.com/codegangsta/cli而且还没有找到一种方法来做可选的标志。如何做到这一点?根据https://gobyexample.com/command-line-flags中的代码:packagemainimport"flag"import"fmt"funcmain(){boolPtr:=flag.Bool("fork",false,"abool")fmt.Println("fork:",*boolPtr)}并执行:$./command-line-

elasticsearch - 在 google go 中使用 olivere/elastic 更新 ElasticSearch 中的记录

我正在使用go在Elasticsearch中插入一条记录,如下所述:https://github.com/olivere/elastic现在,如果我必须部分更新它(假设只有一个条目如“名称”),那么我想使用更新API。我找不到任何描述如何在oilvere/elastic中使用此API/函数的文档。我想知道是否有人以前使用过这个并且可以帮助我。 最佳答案 所以,我终于让这个东西工作了。这是我用来完成它的代码。update,err:=client.Update().Index("test3").Type("user").Id("2").

go - 如何在 cli 应用程序 ( golang ) 中执行自动完成命令?

我想在按下“TAB”键“\t”时自动完成我的命令,并在按下“ENTER”键“\r?\n”时执行命令。这段代码例如:packagemainimport("bufio""fmt")funcmain(){reader:=bufio.NewReader(os.Stdin)command,err:=reader.ReadString('\n')iferr!=nil{fmt.Printf("%s\n",err)}else{fmt.Printf("%s\n",command)}} 最佳答案 如果你想要类似bash的功能,那么这比使用bufio阅读

amazon-web-services - 用于 go 的 Elastic Beanstalk Procfile

我正在尝试使用ElasticBeanstalk将我的gorestful服务器程序部署到EC2Linux。该文档说我需要在根目录下创建一个Procfile。所以我做了。以下是步骤:构建我的go程序myapp.go以使用$gobuild-omyapp-imyapp.go在根目录下创建一个具有确切名称的Procfileweb:myapp将Procfile和myapp图像压缩到myapp.zip文件中。通过ElasticBeanstalk控制台上传到服务器。但是我不断收到Degraded健康和警告WARNProcessterminationtakinglongerthan10seconds.任

performance - 在 elastic beanstalk 上运行 Golang 应用程序时是否存在任何性能问题?

我正在尝试在go中对一个简单的“helloworld”HTTP服务器进行基准测试。我做了2个测试:使用亚马逊ec2-m3.medium实例使用amazonelasticbeanstalk-也使用m3.medium单实例在第一个设置中,我可以获得高达18k请求/秒。在第二个,1.6k请求/秒。源代码:(来自:https://golang.org/doc/articles/wiki/)packagemainimport("fmt""net/http")funchandler(whttp.ResponseWriter,r*http.Request){fmt.Fprintf(w,"Hither

amazon-web-services - 我应该使用 AWS Elastic Beanstalk 还是 Amazon EC2 Container Service (ECS) 来扩展 Docker 容器?

我开发了一个由多个微服务组成的基于Docker的应用程序。它必须使用AmazonSQS消息并对其进行处理。起初我想使用AWSElasticBeanstalk,但后来我被EC2容器服务迷住了。现在不知道该选哪一个了。截至目前,ElasticBeanstalk支持多容器环境。这很棒,因为每个微服务在docker容器中都有自己的应用程序服务器。下一个问题是缩放:我不知道缩放机制是如何工作的。例如:我的ElasticBeanstalk环境中有5个docker容器。现在只有第五个docker容器负载很重,因为它有大量的SQS消息要处理,其他四个几乎空闲,因为它们不需要太多CPU或者可能没有很多S

amazon-web-services - 我应该使用 AWS Elastic Beanstalk 还是 Amazon EC2 Container Service (ECS) 来扩展 Docker 容器?

我开发了一个由多个微服务组成的基于Docker的应用程序。它必须使用AmazonSQS消息并对其进行处理。起初我想使用AWSElasticBeanstalk,但后来我被EC2容器服务迷住了。现在不知道该选哪一个了。截至目前,ElasticBeanstalk支持多容器环境。这很棒,因为每个微服务在docker容器中都有自己的应用程序服务器。下一个问题是缩放:我不知道缩放机制是如何工作的。例如:我的ElasticBeanstalk环境中有5个docker容器。现在只有第五个docker容器负载很重,因为它有大量的SQS消息要处理,其他四个几乎空闲,因为它们不需要太多CPU或者可能没有很多S

mapreduce - 是否有分布式数据处理管道框架,或者组织一个的好方法?

我正在设计一个需要一组分布式处理工作器的应用程序,这些工作器需要在特定流中异步使用和生成数据。例如:组件A获取页面。组件B分析来自A的页面。组件C存储来自B的经过分析的点点滴滴。显然不仅仅涉及三个组件。进一步的要求:每个组件都需要是一个单独的进程(或一组进程)。生产者对其消费者一无所知。换句话说,组件A只是产生数据,并不知道哪些组件使用该数据。这是一种由面向拓扑的系统解决的数据流,如Storm.虽然Storm看起来不错,但我持怀疑态度;它是一个Java系统,并且基于Thrift,我不喜欢这两者。我目前倾向于使用AMQP作为数据传输,使用HTTP作为数据共享/存储协议(protocol)