草庐IT

Amazon-Hadoop

全部标签

Ruby1.9 和 Amazon SQS?

是否有用于从ruby​​1.9访问AmazonSQS的良好库/gem?Amazonruby​​示例和right_aws不适用于ruby​​1.9。我非常喜欢已知可以在相当重的负载下工作的东西(每天几十万个队列项或更多)。 最佳答案 官方的right_awsgem(>=2.0)似乎适用于Ruby1.9.2http://rubygems.org/gems/right_aws更新:亚马逊最近制作了一个支持SQS的官方gem:http://aws.amazon.com/sdkforruby/ 关

ruby - 使用 Fog 和 Ruby 生成预签名 URL 以将文件放入 Amazon S3

我正在使用Foggem生成预签名url。我可以成功执行此操作以获得对该文件的读取权限。这是我的做法:fog_s3=Fog::Storage.new({:provider=>'AWS',:aws_access_key_id=>key,:aws_secret_access_key=>secret})object_path='foo.wav'expiry=Date.new(2014,2,1).to_time.to_iurl=fog_s3.directories.new(:key=>bucket).files.new(:key=>object_path).url(expiry,path_sty

ruby-on-rails - 使用 aws-sdk gem 删除 Amazon S3 上的 "Folder"

我可以使用以下方法删除AmazonS3上“文件夹”中的单个文件:s3=AWS::S3.new(:access_key_id=>ENV['AWS_ACCESS_KEY_ID'],:secret_access_key=>ENV['AWS_ACCESS_KEY'])folder_path='uploads/'+@image.s3_filenames3.buckets[ENV['AWS_BUCKET']].objects.with_prefix(folder_path).delete_all但这会留下一个空文件夹。我怎样才能完全删除文件夹(folder_path)?

ruby - Amazon SQS 优先级队列

是否可以使用Amazon简单排队服务创建优先级队列?最初我找不到关于这个主题的任何内容,这就是我创建两个队列的原因。一个普通队列和一个优先队列。我正在根据我定义的规则将消息排入此队列,但在出列消息时会出现困惑。如何对队列进行长时间轮询,使我的队列组合表现得像一个优先级队列? 最佳答案 我认为您通过创建两个队列走在正确的轨道上-一个普通队列和一个优先级队列。在这种情况下,您不一定需要长时间轮询。由于优先队列中的消息优先于普通队列中的消息,您可以采用如下方法:轮询优先级队列,直到没有更多消息为止。轮询普通队列并在普通队列中的每条消息后重

ruby-on-rails - 自动删除 Amazon S3 中超过 n 天的对象(如何?)

我在AmazonS3中存储了很多图像,使用ruby库(http://amazon.rubyforge.org/)我不关心超过1周的照片,然后为了释放S3中的空间我必须删除这些照片。我知道有一种方法可以删除某个桶中的对象:S3Object.delete'photo-1.jpg','photos'有没有办法自动删除一周前的图片?如果它不存在,我将不得不编写一个守护进程来做到这一点:-(谢谢更新:现在可以了,查看Roberto的回答。 最佳答案 您可以使用AmazonS3对象过期策略AmazonS3-ObjectExpiration|AW

ruby - 从 Amazon S3 流式传输动态 zip

我正在寻找一种从AmazonS3动态流式下载zip文件的方法。应用程序托管在EC2上,文件存储在S3上。需要让用户能够从一组文件中进行选择,然后将这些文件打包并下载给他们。听说过一些可能可行的Actionscript库(aszip和fzip),或者可以在Ruby或什至PHP中执行此操作。文件不需要任何压缩,zip只是用于将文件捆绑到一个下载中.... 最佳答案 我使用NginxZipModule流式传输本地文件,但可以选择从远程位置流式传输。否则,您可以将它与VFS安装的S3存储一起用作本地文件系统。支持seek-断点续传和加速下载

ruby - Amazon Linux系统如何升级ruby版本?

我使用padrinoruby​​框架开发了ruby​​应用程序。我想在Amazon上部署它。我使用了这张图片。AmazonLinuxAMI2017.09.1(HVM),SSD卷类型图像描述是:"TheAmazonLinuxAMIisanEBS-backed,AWS-supportedimage.ThedefaultimageincludesAWScommandlinetools,Python,Ruby,Perl,andJava.TherepositoriesincludeDocker,PHP,MySQL,PostgreSQL,andotherpackages."启动实例后,我测试了ru

ruby-on-rails - Rails Heroku 服务器回形针 Amazon S3 - AWS::S3::Errors::RequestTimeout

当我用附加图像保存我的konkurrencer模型时,我在Heroku上收到错误,但在我的本地服务器上没有。.我的heroku日志:←[36m2012-04-01T17:45:37+00:00app[web.1]:←[0mStartedPOST"/admin/konkurrencers"forMYIPat2012-04-0110:45:37-0700←[33m2012-04-01T17:46:01+00:00heroku[router]:←[0mPOSTwww.konkurrencerher.dk/admin/konkurrencersdyno=web.1queue=0wait=0ms

mysql - 在为 RoR 应用程序在 MySQL 和 Amazon 的 SimpleDB 之间做出决定时,您需要考虑什么?

我刚刚开始研究使用Amazon的SimpleDB服务作为我计划构建的RoR应用程序的数据存储的可行性。我们将为Web服务器使用EC2,并计划将EC2用于MySQL服务器。但现在的问题是,为什么不使用SimpleDB?应用程序(如果成功)需要在支持的用户数量方面具有很强的可扩展性,需要维护简单高效的代码库,并且需要可靠。我很好奇SO社区对此有何看法。 最佳答案 RubySimpleDB库不如ActiveRecord(默认的RailsDB适配器)那么完整,因此您习惯的许多功能将不存在。从好的方面来说,它是无模式的、可扩展的并且可以很好地

Ubuntu下Hadoop的单机安装

        云计算实验中要求我们在Linux系统安装Hadoop,故来做一个简单的记录。· 注:我的操作系统环境是Ubuntu-20.04.3,安装的JDK版本为jdk1.8.0_301,安装的Hadoop版本为hadoop2.7.1。(不确定其他版本是否会出现版本兼容问题)Hadoop安装步骤如下:        一、更新apt和安装vim编辑器        二、配置本机无密码登录SSH        三、安装JAVA环境        四、下载安装Hadoop        五、伪分布式搭建一、更新apt和安装vim编辑器1、更新aptsudoapt-getupdate2、安装vim