草庐IT

NoSql_HBase

全部标签

HBase Region 简介和建议数量&大小

Region是HBase数据管理的基本单位,region有一点像关系型数据的分区。region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region。Region的结构hbaseregion的大小设置默认情况下,每个Table起初只有一个Region,随着数据的不断写入,Region会自动进行拆分。刚拆分时,两个子Region都位于当前的RegionServer,但处于负载均衡的考虑,HMaster有可能会将某个Region转移给其他的RegionServer。RegionSplit时机:当1个region中的某个Store下所有StoreFile

ruby-on-rails - ActiveRecord 和 NoSQL

我已经使用Rails几年了,并且非常习惯ActiveRecord,但最近完成了一项可以从(某些)NoSQL数据存储中获益的任务。少量数据最好放在NoSQL系统中,但大部分数据仍应放在RDBMS中。不过,我看过的每个NoSQL包装器/gem似乎都需要从应用程序中删除ActiveRecord。是否有结合这两种技术的建议方法? 最佳答案 不确定您正在研究什么NoSQL服务,但我们已经将MongoDB与Postgres结合使用了一段时间。有用的提示,他们说你需要摆脱ActiveRecord,但实际上你不需要。大多数人只是这么说,因为您最终没

ruby-on-rails - 有没有很好的引用(开源)Rails NoSQL应用程序?

我有兴趣了解使用nosql将如何影响rails应用程序的架构/设计/代码。有人知道使用nosql持久性的开源rails应用程序的一个好例子吗?谢谢 最佳答案 看看这些项目:卡桑德拉用法atDigg。卡桑德拉用法atTwitter。Friendly用法atFetLife(nsfw)。最后,MyNoSQL是一个提供nosql相关信息的好网站。 关于ruby-on-rails-有没有很好的引用(开源)RailsNoSQL应用程序?,我们在StackOverflow上找到一个类似的问题:

ruby-on-rails - Need Advice : Is this a good use case for a 'NoSQL' Database? 如果有,是哪一个?

我最近一直在研究NoSql选项。我的场景如下:我们从位于世界各地偏远地区的定制硬件收集和存储数据。我们每15分钟记录一次来自每个站点的数据。我们最终希望每1分钟移动一次。每条记录有20到200个测量值。一旦设置好硬件,每次都会记录和报告相同的测量值。我们面临的最大问题是我们从每个项目中获得了一组不同的衡量标准。我们测量大约50-100种不同的测量类型,但是任何项目都可以有任意数量的每种测量类型。没有可以容纳数据的预设列集。因此,当我们在系统上设置和配置项目时,我们创建并构建了每个项目数据表,其中包含所需的确切列。我们提供工具来帮助分析数据。这通常包括更多的计算和数据聚合,其中一些我们也

ruby - 用于 Ruby 的 HBase ORM

存在哪些适用于Ruby的HBaseORM/适配器?哪些是最好的?为什么? 最佳答案 Rhino和Bigrecord似乎有几个月没有事件了。这是一个更活跃的hbaseRubyORM:https://github.com/CompanyBook/massive_record 关于ruby-用于Ruby的HBaseORM,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/3645866/

启动hive报错no hbase in

启动hive报错nohbasein将hdfs和yarn都启动成功之后,启动hive,如下所示:[atguigu@hadoop102conf]$cd/opt/module/hive/[atguigu@hadoop102hive]$bin/hive报错信息如下which:nohbasein(/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk/bin:/opt/module/hadoop/bin:/opt/module/hadoop/sbin:/opt/module/jdk/bin:/home/atguigu/.loca

amazon-web-services - 您如何在无服务器架构中平衡 nosql 存储和缓存?

我正在为无服务器环境(aws)编写一个基于go的应用程序。我对编写应用级代码还很陌生,而且我有基础架构背景。我知道缓存不是持久性的,但我真的需要关心真正无服务器环境中的持久性吗?从需求的角度来看,简单的dynamodb表可以满足我的存储需求,但缓存会给我更好的性能,对吧?我需要性能,这是我为应用程序使用go的一个重要原因。 最佳答案 您可以选择AWSElastiCache(redis或memcache),但这并不是真正的无服务器,因此可能不是一个选择。AWSLambda允许您在/tmp目录中写入,您可以在内存中缓存一些内容。不过,我

用idea操作hbase数据库,并映射到hive

依赖条件:需要有Hadoop,hive,zookeeper,hbase环境映射:每一个在Hive表中的域都存在于HBase中,而在Hive表中不需要包含所有HBase中的列。HBase中的RowKey对应到Hive中为选择一个域使用:key来对应,列族(cf:)映射到Hive中的其它所有域,列为(cf:cq)配置映射环境一:先关闭所有服务[root@siwen~]#stop-hbase.sh-----关闭hbase[root@siwen~]#zkServer.shstop-----关闭zookeeper[root@siwen~]#stop-alll.sh-----关闭hadoop二:配置文件1

xml - 如何将XML数据库导入HBASE

我开始学习hbase,我有一个任务,但我不知道从哪里开始。我有一个xml数据库,我应该将它导入hbase。示例文件:https://www.dropbox.com/s/e47itzrqg36kuci/pub-venues.xml我知道如何创建一个表并将csv文件导入其中。但问题是,csv文件有行,并且每个文件中的字段数都是常量,我的意思是,即使没有值,字段仍然在逗号之间。请帮助我,告诉我在哪里可以找到有关它的信息。谢谢您。 最佳答案 在hbase中表示xml有很多方法(从将xml存储在一个列开始,到将每个元素放在一个单独的行中)。在

java - 使用 HBase 配置 Kundera

我目前有一个运行正常的HBase/Hadoop集群,我对这些产品相当熟悉。我最近听说了Kundera,它看起来是一个非常强大的工具,我想使用它。但是,我似乎找不到任何关于使用HBase设置Kundera的文档/教程/示例。我已经尝试了一些我碰巧遇到的Material,但它们都以失败告终,以至于我觉得它不相关。基本上我不知道从哪里开始。我不担心有人向我解释任何高级级别的东西,但我就是无法配置它。如果有人能指出正确的方向,我将不胜感激。TLDR:我有一个正在运行的HBase集群,想将Kundera与它一起使用,但我不知道从哪里开始。谢谢。 最佳答案