草庐IT

高性能架构

全部标签

Google Directory API 添加自定义架构/根据 google API 将其更新给用户(在进行中)

我正在尝试将CustomSchema上传到GSuite中一家公司的所有用户。此自定义架构包含他们的Github用户名,我使用githubAPI将其提取。问题是,运行代码后,并没有添加Gsuite中的账号。相关代码(已建立使用管理员身份验证的GSuite连接,map包含所有用户条目。如果您还需要更多代码,我可以为您提供-只是尽量保持简单):for_,u:=rangeallUsers.Users{ifu.CustomSchemas!=nil{log.Printf("%v",string(u.CustomSchemas["User_Names"]))}else{u.CustomSchemas

新项目的 Golang 架构问题

我正在使用这个https://medium.com/@eminetto/clean-architecture-using-golang-b63587aa5e3f我下一个项目的架构。但是我有几个问题:缓存应该放在哪一层?认证/授权应该在哪一层?这是与Go一起使用的良好架构吗? 最佳答案 您想缓存什么,数据库查询或文件或请求?认证/授权可以在中间件层也可以在View/模型层之前。您可以根据您的需要和目标挑选您的架构。选择架构没有硬性规定。正确的架构来自于为同一目标在不同架构上尝试POC。 关

mongodb - mgo - 查询性能似乎一直很慢(500-650 毫秒)

我的数据层大量使用Mongo聚合,平均而言,查询需要500-650毫秒才能返回。我正在使用mgo。下面显示了一个示例查询函数,它代表了我的大部分查询的样子。func(ruserRepo)GetUserByID(idstring)(User,error){info,err:=db.Info()iferr!=nil{log.Fatal(err)}session,err:=mgo.Dial(info.ConnectionString())iferr!=nil{log.Fatal(err)}defersession.Close()varuserUserc:=session.DB(info.Db

amazon-web-services - 如何使用此架构在 Elastic Search 中复制索引?

我有一个场景,我必须从多个来源导入数据(数百万条记录)并将其保存在数据库中。当用户尝试搜索与该数据相关的任何信息时,他们应该会在2-3秒内获得结果。为此,我设计了一个架构,在该架构中,我使用golang从多个来源导入数据并在AWSSQS中推送数据。我创建了一个lambda函数,它在AWSSQS有一些数据时触发。然后,此lambda函数将数据推送到AWSElasticSearch中。我创建了一个RestAPI,我使用它向用户提供结果。我每天早上都使用CRON来完成导入工作。现在我的问题是,如果有一批新数据出现,我想删除现有数据并用新数据替换所有数据。我坚持如何实现删除和添加新数据部分。我

go - RabbitMQ 消费者性能 - 预取与并发

我有一个Go应用程序处理来自单个RabbitMQ队列的事件。我用github.com/streadway/amqpRabbitMQ客户端库。Go应用程序在大约2-3秒内处理每条消息。如果我从内存中输入消息,则可以并行处理~1000条甚至更多消息。但是,不幸的是,RabbitMQ的性能更差。所以,我想更快地使用队列中的消息。因此,问题是:如何使用github.com/streadway/amqp以最有效的方式使用消息?据我了解,有两种方法:设置高预取https://godoc.org/github.com/streadway/amqp#Channel.Qos.使用单个消费者协程示例代码:

google-app-engine - Google App Engine 高性能代理解决方法

我开始使用GAE是因为它的高性能。当我发现它没有我需要的所有功能(应用程序的静态ip、自定义端口)时,我想我需要找到一些具有类似高性能的代理服务器作为解决方法。我的应用程序仍处于开发的早期阶段,因此针对此解决方案对其进行定制没有问题。您可以推荐哪些著名的基于云的代理服务器与GoogleAppEngine一起使用以补充GAE无法完成的工作? 最佳答案 你可以试试runningnginxonEC2.我寻找了一段时间,看看是否存在这样的服务,但我什么也没找到。免责声明:这是我博客的链接 关于g

google-app-engine - App Engine Datastore 上的 Golang - 使用 PutMulti 提高性能

我有一个应该能够处理数百个并发请求的GAEGolang应用程序,对于每个请求,我都会对输入进行一些处理,然后将其存储在数据存储区中。使用任务队列(appengine/delaylib)我获得了相当不错的性能,但是为每个请求执行单行插入似乎仍然非常低效(即使插入是使用任务队列延迟的)。如果这不是应用引擎,我可能会将输出附加到一个文件中,并且每隔一段时间我会使用cron作业/其他类型的计划服务将文件批量加载到数据库中。所以我的问题是:是否有我可以在AppEngine上实现的等效方案?我曾是思考-也许我应该将一些行写入memecache,并且然后每隔几秒钟我将批量加载所有行那里并清除缓存。这

go - Go 编译文件如何在不同的操作系统或 CPU 架构上工作?

由于我从昨天开始学习Golang:)我对编译后的文件有疑问。假设我编译我的项目。它在/bin文件夹中生成一个.exec文件。现在我的问题是,既然该文件是在基于IntelCPU的Mac上编译的,那么如果我想将它公开发布,它是否应该在其他操作系统和其他CPU架构(如AMD、ARM等)上编译?如果我在服务器上运行GOlang作为我的后端,我想这应该不是问题。但是,如果我发布我的.exec文件会发生什么,比方说在AWS上,有很多实例会根据负载自动增加/减少?有问题吗?编辑:对于那些正在寻找Go交叉编译工具的人来说,这是一个很好的解决方案https://github.com/mitchellh/

winapi - 从 unsafe.Pointer 获取特定 byte slice 的最佳(最安全 + 最高性能)方法是什么

我正在尝试转换thisc++去。简而言之,这就是C代码正在做的事情:staticconstchar*pSharedMem=NULL;intsessionInfoOffset;returnpSharedMem+pHeader->sessionInfoOffset;这是我的(伪)go代码:varpSharedMemunsafe.PointersessionInfoLenC.intbyteSlice:=C.GoBytes(pSharedMem,pHeader.sessionInfoLen)returnbyteSlice[pHeader.sessionInfoOffset:]我从来没有真正编写

用于 Web 应用程序的 node.js golang 复合架构

我目前正在构建一个将使用node.js进行基本路由的网络应用程序。该应用程序的某些部分需要更多处理器,我想对这些部分使用golang。但是,我不确定在两种语言之间安装和通信的最佳方式。我正在使用AmazonElasticBeanstalk进行初始测试,因此任何细节都可以针对该平台。本质上归结为以下两个问题:1)如何在AmazonEC2上同时安装node.js和golangdocker镜像?亚马逊有一个或另一个的指南,但没有两个。2)将处理器密集型任务从node.js卸载到golang代码库的最佳方法是什么(我可以想象RPC,或者只是在某个本地主机端口上运行golang,但我对这种类型的