草庐IT

amazon-ebs

全部标签

amazon-web-services - FIlebeat-Redis-Logstash : Filebeat fast and Logstah slow, logstash 线程?

我正面临logstash的延迟问题。事实上,我有一个这样构建的ELK堆栈:我在AWS自动缩放组中有多个AWSEC2网络前端我在每个前端都安装了filebeatfilebeat读取日志文件并将消息发送到redis集群(awselasticacheredis,一个主节点和一个从节点,禁用集群模式)我在EC2c4.large上安装了logstash,它从redis(pop)读取日志,并在Elasticseach集群中为它们编制索引我的elasticsearch由三个EC2c4.xlarge组成logstash还从s3读取elb日志并在elasticsearch集群中对其进行索引问题:无论是在

amazon-web-services - 使用 .net SDK 在 AWS Elasticache Redis 集群中存储缓存/ session (键和值)

我必须使用AWS.netSDK将session日志(以键、值的形式)存储在ElasticacheRedis集群中。但我只能在.netSDK中看到与memcached集群相关的方法。但我需要将日志存储在RedisCluster中。*谁能建议使用AWS.netSDK在RedisClster中存储日志的步骤。谢谢,普拉卡什 最佳答案 对于AWS上的Memcache和Redis集群,您不使用AWS开发工具包读取/写入数据。就像RDS上的数据库一样,AWSSDK可以帮助您管理服务器/实例。它们不用于数据访问。要访问ElastiCache中的R

amazon-web-services - AWS Redis 集群 - 移动错误

我尝试在AWSRedis集群上执行hmset命令,但出现以下“已移动”错误。不确定发生了什么。已移动765210.0.4.210:6379fromredisclusterimportStrictRedisClusterstartup_nodes=[{"host":self.host,"port":self.port}]client=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True,skip_full_coverage_check=True)client.hmset('my_key',{'abc':'

amazon-web-services - AWS ElastiCache redis 操作需要超过 10 毫秒

我发现AWS弹性缓存redisGET/SET上的延迟非常高。使用一个redis实例(cache.r3.2xlarge)。包括set_type_commands、get_type_commands和hash_based_commands在内的redis请求速率约为3krps。SET函数是一个简单的SET操作,而GET函数是3个命令(2个HGET和1个GET)的管道。如果我遗漏了什么,请告诉我。超过10%的redis请求花费的时间超过10毫秒。AFAIK3krps对于redis来说非常低,应该表现得更好。在SET函数和GET函数上测量时间。 最佳答案

amazon-web-services - AWS 存储包含 30 个元素的简单数组

我正在制作一个应用程序,我需要在其中存储30个元素的数组(这是唯一需要的存储空间)。我有一个python脚本,每两秒更新一次这30个元素。我想知道对于这样的事情最好的AWS数据存储是什么。我尝试过Redis,但是用于Redis的Elasticache需要花钱,而且我不想付钱。有什么方法可以使用Elasticache(需要花钱)在AWS上使用Redis?或者是否有任何其他无需付费即可将此阵列存储在AWS上的方法? 最佳答案 这里有一些想法会比使用Elasticache便宜很多。您可以将数据存储在:S3存储桶中的一些文件DynamoDB

amazon-web-services - redis 错误内存 > 'maxmemory' 但我使用的内存不到最大值的一半

我正在尝试将一些大型csv文件加载到redis中。我收到内存>'maxmemory'错误。但是,当我检查我的数据库的使用情况时,它说used_memory_human:4.63Mused_memory_peak_human:9.26G我不明白那里的脱节。我正在尝试上传大约5.6gb,它应该不会接近9。另外,当我开始时数据库完全是空的 最佳答案 一些事情正在发生-CSV的大小可能与redis占用的内存没有直接关系。Redis消耗多少内存取决于您使用的数据结构。当您写入redis时,redis也在尝试将数据完整备份到磁盘。为了进行备份,

amazon-web-services - 如何遍历redis字典

我知道AmazonElastiCacheRedis维护键值对中的数据,即以字典的形式。我们可以设置一个键值对并检索数据,如下所示fromredisclusterimportStrictRedisClusterstartup_nodes=[{'host':'','port':''}]rc=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)rc.set('foo','bar')print(rc.get('foo'))但是我需要遍历整个字典,我们该怎么做呢? 最佳答案

amazon-web-services - 使用 ElastiCache redis 服务器和密码解析服务器

我已经在ElasticBeanstalk上设置了一个可用的Parse服务器。我已经添加了一个AWSElasticCacheRedis服务器用于缓存,但是在使用密码时我无法使连接正常工作,只是没有密码。在我创建新的Parse服务器的Parse服务器index.js文件中,我像这样连接Redis://RediscacheservervarRedisCacheAdapter=require('parse-server').RedisCacheAdapter;varredisurl='rediss://:'+process.env.REDIS_PASS+'@'+process.env.REDI

amazon-web-services - 如何在不使用 stunnel 的情况下从加密的 Amazon ElastiCache Redis 服务器读写?

我将AmazonElastiCacheRedis服务器用作传输中加密和静态加密。根据我在文档中阅读的内容:https://aws.amazon.com/premiumsupport/knowledge-center/elasticache-connect-redis-node/我们需要使用installstunnel并通过localhost从我们的本地环境或EC2实例访问服务器。有什么办法可以避免吗?我正在使用Redisson作为JavaAPI。 最佳答案 终于找到了一种无需使用Stunnel即可与AWSEncryptedRedis

amazon-web-services - Celery Redis 后端-使队列中的任务作为项目存在

当前设置:celery在EC2节点上的docker容器(使用我们的产品代码)上运行,创建和处理任务。我们的后端/代理是Redis,在AWS的elasticache中运行。目标:能够在任何给定时间查看队列大小(类似于flower的监控),希望通过AWSCloudWatch,但不是必需的。任务内容不相关,因为我熟悉备份redis实例,并且可以使用本地工具解析备份以进行任何需要的分析。短期历史数据是首选(CloudWatch可以追溯到2周,并且具有1分钟数据点的粒度,这非常好)。根据我对Flower工作方式的了解,由于我们目前存在的安全组/限制数量,Flower不可行。此外,flower仅在