草庐IT

Amazon-Hadoop

全部标签

c# - 使用 Amazon SQS 的 .net 应用程序示例

我正在寻找一个示例.Net应用程序,它持续检查AmazonSQS是否有新消息,并在找到新消息时执行操作并将其从队列中删除。我的目标是让一个在EC2上运行的应用程序监视我的SQS队列中的新消息。当找到一个时,将调用几个基于Web的API之一,并将该消息从队列中删除。谁能给我指出一个类似的例子?编辑这种类型的应用程序最好创建为Windows服务吗? 最佳答案 AWSSDKfor.NET几个特征样本AmazonWebServices,包括一个AmazonSQS示例,它演示了如何使用适用于.NET的AWS开发工具包向AmazonSQS发出基

hadoop基础:通过 Shell 命令访问 HDFS

文章目录1.HDFSShell概述1.1操作命令管理命令其他命令1.HDFSShell概述HDFSShell是由一系列类似LinuxShell的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类1.1操作命令操作命令是以“hdfsdfs”开头的命令。通过这些命令,用户可以完成HDFS文件的复制、删除和查找等操作,Shell命令的一般格式如下。hdfsdfs[通用选项]其中,hdfs是Hadoop系统在Linux系统中的主命令;dfs是子命令,表示执行文件系统操作;通用选项由HDFS文件操作命令和操作参数组成。(1)创建文件夹命令:hdfsdfs-mkdir[-p]-p]:表示如果父目录

【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口

问题:在虚拟机启动hadoop集群后,在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。问题排查:首先在windows里ping一下是否能通:若不能ping通,试一下pingIP地址,这里master的IP地址为192.168.128.130.若IP地址能ping通,则试一下在浏览器中将master换成IP地址访问一下:如果能利用IP访问,那么可以在Windows里面C:\Windows\System32\drivers\etc路径用管理员权限之后,编辑hosts文件,加入虚拟机各节点的hostname和IP地址。(竖着写,

centOS 7下Hadoop伪分布式搭建

记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺。步骤第一步:先把在window系统中下载好的关于Hadoop、jdk压缩包用Xftp传输到centos名称自定义,主机我写的是IP地址,需要去centOS的终端输入ifconfig,划黄线的是IP地址  用户名如果在安装centos中没有创建的话,默认是root,密码是登陆密码。点击连接,弹出下面这个对话框,我选的是一次性接受(自行选择)。 成功会亮起小绿点,然后直接把从此电脑中的目标压缩包拖拽到新建会话那边你想放的地方,能记住地址就行。这个地址建议简洁,之后的安装会出现多次。 第二步:设置cen

javascript - Travis CI 与 Amazon Elastic Beanstalk

我有一个Web应用程序http://codefu-5euzxjdg6b.elasticbeanstalk.com/codeKungfu.jsp目前托管在具有Java后端的AmazonElasticBeanstalk上。我想到的流程是这样的:提交到GitHub仓库TravisCI被触发。运行单元测试。所有测试用例均通过。在Amazonelasticbeanstalk上部署。目前,我停留在第3步,我正在尝试将TravisCI与Amazonelasticbeanstalk链接起来。我已经在网上搜索了与此相关的信息,但找不到任何有用的信息。我获得的最佳信息来源是:https://superus

javascript - 如何实现 dropzone.js 将文件上传到 Amazon s3 服务器?

请帮助实现dropzone.js以将文件上传到Amazons3服务器。已经提到以下链接https://github.com/enyo/dropzone/issues/33,但是,不知道要实现。请帮助实现相同的。需要任何dropzone配置代码。 最佳答案 对于可能也跳进这个问题的人,我想分享我的工作场景(无服务器与AWSLambda)。注意:完整示例可以在我的VueS3Dropzonecomponent中找到,与Dropzone和S3相关的代码实际上与框架无关。所以,基本上,客户端(浏览器)调用AWSLambda函数来获取每个要添加

javascript - 如何使用 Meteor 上传文件到 Amazon S3?

我正在尝试将文件上传到我的AmazonS3存储桶。S3和amazon已设置。这是来自亚马逊的错误消息:Conflictingquerystringparameters:acl,policy策略和签名被编码,Crypto.jsforNode.jsvarcrypto=Npm.require("crypto");我正在尝试使用MeteorHTTP.post方法构建POST请求。这也可能是错误的。varBucketName="mybucket";varAWSAccessKeyId="MY_ACCES_KEY";varAWSSecretKey="MY_SECRET_KEY";//createpo

php - Amazon EC2 Ubuntu 实例最大文件上传大小

我获得了一个AmazonEC2Ubuntu实例。我们的任务是创建一个包含上传客户端视频的Web应用程序。我在我的本地主机上创建了一个文件上传应用程序,它工作正常。当我将代码迁移到虚拟主机服务器时,我无法上传任何视频,甚至无法上传任何超过2Mb的文件。我尝试编辑php.ini,将upload_max_filesize设置为50M并将post_max_size设置为1000M。在多次重启Apache之后,更新没有反射(reflect)在我的phpinfo()信息中,但更改保存在我的php.ini文件中。我怀疑给我的AmazonEC2实例有文件上传限制,但我不确定我是否正确。如果我错了,我该

php - 如何公开上传到 Amazon s3 的文件

我正在按照本教程将文件从php上传到amazons3。教程很好,但我有一个小问题,所有上传的文件都必须手动公开才能从互联网上看到它们。有什么方法可以自动化吗?上传.phparray('key'=>$IAM_KEY,'secret'=>$IAM_SECRET),'version'=>'latest','region'=>'us-west-2'));}catch(Exception$e){//Weuseadie,soifthisfails.Itstopshere.TypicallythisisaRESTcallsothiswould//returnajsonobject.die("Erro

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)目录Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置(1)VMware虚拟网络设置(2)Window10的IP地址配置(3)CentOS(hadoop100)静态IP设置(5)设置名字解析四、XSHELL7远程访问工具+XFTP7文件传输(1)分别下好XSHELL7和XFTP71)先安装Xshell2)打不开Xshell7的解决方法3)新建XShell文件4)安装Xftp五、基础