草庐IT

MongoDB-Azure

全部标签

mongodb - 在 Hadoop 中提交 MapReduce 作业时找不到 com.mongodb.hadoop.MongoOutputFormat

我遵循本教程http://www.mongodb.org/display/DOCS/Hadoop+Quick+Start构建mongodb-hadoop。我尝试构建TreasuryYield示例(我的Hadoop版本是0.20.2。),但是当我提交MapReduce作业时出现以下错误:12/10/2414:01:09INFOutil.MongoTool:Createdaconf:'Configuration:core-default.xml,core-site.xml,mongo-defaults.xml,mongo-treasury_yield.xml'on{classcom.mon

MongoDB的安装配置与操作

目录(一)MongoDB具体配置步骤1、安装MongoDB2、启动MongoDB3、MongoDB命令4、MongoDB权限说明(二)MongoDB常用指令集1、常用命令2、Collection聚集集合3、用户相关4、聚集集合查询用户相关5、索引6、修改、添加、删除集合数据7、语句块操作8、其他(一)MongoDB具体配置步骤1、安装MongoDBMongoDB官网:DownloadMongoDBCommunityServer|MongoDBWindows平台下载:mongodb-windows-x86_64-5.0.2-signed.msi或者mongodb-windows-x86_64-5

mongodb - Hadoop 错误 - 无法计算输入拆分 : need to login

我正在尝试Hadoop在我的数据中应用MapReduce,示例inthislink当我为正确的mongo.input.uri配置本地mongo集合时工作正常。但是当我如下所示配置远程mongo集合时,mongo.input.urimongodb://username:password@remote_mongodb_ip:27017/input_collection我得到以下错误java.lang.IllegalArgumentException:Unabletocalculateinputsplits:needtologin最奇怪的是,如果我为输入表和输出表的远程mongo数据库集合使

hadoop - 如何配置和重新启动在 Azure 上运行的 HDInsight 群集?

具体来说,我想更改在MicrosoftAzure上运行的HDInsight集群中每个节点的最大映射器数量和最大缩减器数量。我使用远程桌面登录到头节点。我编辑了头节点上的mapred-site.xml文件并更改了mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum值。我尝试重新启动头节点,但无法重新启动。我使用start-onebox.cmd和stop-onebox.cmd脚本来尝试启动/停止HDInsight。然后我运行了一个流式mapreduce,将所需数量的reducer传递给had

mongodb - 动态模式的 Hive 表创建

我们正在研究Hive是否允许我们运行一些类似SQL的查询mongo风格的动态模式作为我们map-reduce作业的先驱。数据以几个TiB的BSON文件的形式出现;每个文件包含JSON“样本”。示例示例如下:{"_id":"SomeGUID","SomeScanner":{"B64LR":22,"Version":192565886128245},"Parser":{"Size":73728,"Headers":[{"VAddr":4096,"VSize":7924....etc....作为动态模式,只有少数字段保证存在。我们希望能够针对可能是某物的输入集运行查询喜欢SomeScanne

python - mongodb_hadoop 流与 python : -inputURI not recognized

我正在尝试使用mongodb_hadoop连接器在python中创建一个MapReduce应用程序。我有一个安装了hadoop2.2.0的集群。我已经安装了mongodb_hadoop连接器v1.3.0。我已经安装了mongodb并创建了一个名为hadoop_db的测试数据库,其中包含一个名为“整数”的集合,其中包含整数值。我的目标是尝试计算每个整数的出现次数。我的工作基于此presentation但是当我尝试执行作业时,这是我得到的:bin/hadoopjarshare/hadoop/tools/lib/hadoop-streaming-2.2.0.jar\-mapperpyhado

java - Hadoop 与 mongoDB : NoClassDefFoundError MongoConfigUtil

我正在学习如何使用mongodb数据作为输入在hadoop中编写map/reduce作业。所以我关注了this示例,但出现以下错误:Exceptioninthread"main"java.lang.NoClassDefFoundError:com/mongodb/hadoop/util/MongoConfigUtilatWordCount.main(WordCount.java:58)atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)atsun.reflect.NativeMethodAccessorImpl.inv

java - Hadoop HDFS MapReduce 输出到 MongoDb

我想编写Java程序,它从HDFS读取输入,使用MapReduce处理它并将输出写入MongoDb。场景如下:我有一个包含3个数据节点的Hadoop集群。Java程序从HDFS读取输入,并使用MapReduce对其进行处理。最后将结果写入MongoDb。其实从HDFS读取数据,用MapReduce处理很简单。但是我对将结果写入MongoDb感到困惑。是否支持任何JavaAPI将结果写入MongoDB?另外一个问题是,由于是HadoopCluster,所以我们不知道哪个datanode会运行Reducer任务并产生结果,是否可以将结果写到安装在特定服务器上的MongoDb中?如果我想把结

mongodb - 我们对 mongodb 使用 nosql 就像对 oracle 使用 sql 一样?

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion我将以我的问题为例。如果我们使用ORACLE作为数据库,如果我们想从中获取数据,我们应该知道的是SQL。在sql的帮助下,我们可以从oracle中获取数据。如果我们使用Mongodb作为数据库,我们是否必须了解NoSql。??简单来说。用于ORACLE的SQL。和MongoDB的NoSql?我说得对吗?

azure - 在 HDInsight 上使用 HQL 文件时出现 ParseExceptions

我正在学习本教程http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-hive/但是在将查询源更改为使用文件时卡住了。使用New-AzureHDInsightHiveJobDefinition-Query$queryString时一切正常但是当我尝试New-AzureHDInsightHiveJobDefinition-File"/example.hql"与example.hql存储在blob容器的“根”中,我得到ExitCode40000和标准错误中的以下内容:Logginginitializedu