草庐IT

oracle - 大容量数据存储和处理

我正在构建一个新应用程序,我希望在其中获得大量地理位置数据,例如每5秒发送一次地理坐标的移动物体。这些数据需要存储在某个数据库中,以便随时用于跟踪map上的移动物体。所以,我预计每条路线每个移动物体大约有250个坐标。每个对象每天可以运行大约50条路线。我有900个这样的对象要跟踪。因此,这带来了每天大约1150万个地理坐标的存储。我必须至少在我的数据库中存储大约一周的数据。此数据基本上将用于简单查询,例如查找特定对象和特定路线的所有地理坐标。因此,查询不是很复杂,并且不会将此数据用于任何分析目的。所以,我的问题是,我应该只使用分布在两个虚拟机上的12C等普通Oracle数据库,还是应

java - 对具有大量版本的长表进行全面扫描只会得到一小部分行

我有这样的情况,我需要扫描包含大约50列的表,每列包含大约100个版本。没有什么特别的(this.htable恰好是HTable而processor用于处理结果行):finalScanscan=newScan();scan.setCaching(1000);scan.setMaxVersions(Integer.MAX_VALUE);finalResultScannerrs=this.table.getScanner(scan);try{for(Resultr=rs.next();r!=null;r=rs.next()){processor.processRow(r);}}finall

rest - 如何在 HBase REST curl 中以相反的顺序获取行

我可以从一个表中获取所有行curl-H"Accept:application/json"http://localhost:8080/table/*我可以限制行数curl-H"Accept:application/json"http://localhost:8080/table/*?limit=10问题是行总是插入前10行而不是最后10行。想弄个反序,特意结合了limit参数。我知道setReversed参数,在HBaseshell中它工作正常:scan'table',{LIMIT=>10,REVERSED=>TRUE} 最佳答案 看

mysql - 使用Oracle Loader将HBase数据导入Oracle表

我在HBase表中有数据,我正试图将其导入到Oracle或MySQL表中。我听说有一个OracleLoader可以达到这个目的。有人试过将HadoopHBase数据导入Oracle表吗?如果是这样,能否请您提供一个引用链接,告诉我如何做到这一点? 最佳答案 我不知道你是怎么做到的。上次我检查过不支持通过Sqoop从HBase导出到SQLDB。由于这个事实,您正面临这个问题。你可能会尝试:将HBase数据导出到HDFS,然后将其导出到Oracle。将HBase表映射到Hive并进行导出。我也不太确定Oracle数据加载器是否支持HBa

hadoop - 删除 hbase 表后快照和新克隆的表会发生什么

我有以下关于hbase快照的查询:如果我按给定的顺序执行下面的语句:hbase>snapshot'NS1:table1','snap_table1'hbase>disable'NS1:table1'hbase>drop'NS1:table1'hbase>clone_snapshot'snap_table1','NS1:table1'`在这种情况下,即使在主要压缩之后,"NS1:table1"是否仍然保留快照中的数据?谢谢! 最佳答案 snapshot'NS1:table1','snap_table1':它将创建快照。快照数据不会占用

mongodb - 我们对 mongodb 使用 nosql 就像对 oracle 使用 sql 一样?

关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion我将以我的问题为例。如果我们使用ORACLE作为数据库,如果我们想从中获取数据,我们应该知道的是SQL。在sql的帮助下,我们可以从oracle中获取数据。如果我们使用Mongodb作为数据库,我们是否必须了解NoSql。??简单来说。用于ORACLE的SQL。和MongoDB的NoSql?我说得对吗?

hadoop - 如何从 Hbase 表的特定行中检索信息?

我在Hbase中有一个表,这个表的键是“user_name”+“id”,例如(“username123”)。例如,我想检索特定用户名的所有行(如果我有一些键为“john1”,“john2”...的行,我想检索john的所有行)我该怎么做? 最佳答案 使用前缀过滤器。对于JavaAPI,答案在这里HbaseJavaAPI:RetrievingallrowsthatmatchaPartialRowKey在HBaseshellPrefixFilter中也是如此:scan'tablename',{FILTER=>"(PrefixFilter

mysql - NoSql 类型的解决方案在分布式时如何支持一致性?

如果这个问题有缺陷,我提前道歉。我对数据库很陌生(我已经设置了它们,但在我的开发学习中并没有太多使用它们)。背景:我有一个生成大量测试数据的过程,它基本上是一个哈希表,每天有几亿条记录(但在一天结束时我可以删除这些记录)。在一台机器上生成数据花费的时间太长,所以我将这个过程拆分到几个服务器上,这些服务器基本上需要查找一个数据库(或当前的哈希表),如果它存在则做一些工作,如果它不存在则添加它。我认为(到目前为止)我的需求是一个可以以一致的方式处理大量写入的数据库(即更新应该立即可用)并且数据库应该能够通过网络有效地将此表传输到其他工作节点(在创建表后,另一个基于它的作业运行,但我不认为单

hadoop - 试图了解 HBase

以下是我的问题:Hbase是否在其内部工作中使用Map/Reduce从Hadoop中提取数据?HBase能否与其他框架(如Amazondynamo)一起使用,或者它必须以Hadoop作为基础框架?Hbase好学吗?我可以练习的设置HBase实例的最佳方法是什么上? 最佳答案 当您尝试访问其中的单元格或行时,HBase不使用map/reduce。基本上,Hadoop存储数据以便它知道在哪里可以找到键(键按字典顺序存储)。您可以在thispost中查看详细信息拉尔斯·乔治。HBase确实支持map/reduce,因此您可以将其用作您创建

java - Hbase方案设计-最佳实践

我最近从rdbms切换到Hbase来处理数百万条记录。但是作为一个新手,我不确定设计Hbase方案的有效方法是什么。实际上,场景是我有文本文件,其中包含我必须读取并存储到Hbase中的成百上千和数百万条记录。因此,有两组文本文件(RawData文件、Label文件)相互链接,因为它们属于同一用户,对于这些文件,我制作了两个单独的表(RawData和Label),并将它们的信息存储在那里.所以RawData文件和RawData表看起来像这样:因此您可以在我的RawData表中看到我有行键,它实际上是文本文件的文件名(01-01-All-Data.txt)以及文本文件每一行的行号。列族只是