我是HBaseRESTAPI的新手，我正在尝试寻找一种方法，我可以通过get命令获得一组Id的结果。由于批处理有助于提高我的代码的性能，而不是为表的每个ID发出获取请求。一些示例Hbasejavarestapi代码会有所帮助。提前致谢。 最佳答案 Result[]results=table.get(Listgets)做你正在寻找的。您应该会看到显着的性能改进。如果你只想知道键是否存在:boolean[]exists=exists(Listgets);它甚至可以比get更快，因为它只返回true或false。
现在我正在尝试从数据库表中导出数据，并将其写入hdfs。问题是:名称节点会成为瓶颈吗？机制如何，名称节点会缓存一个切片(64MB)，然后将其提供给数据节点？有没有比编写hdfs更好的方法？因为我认为它没有利用并行机制。谢谢:) 最佳答案 您是否考虑过使用Sqoop。Sqoop可用于从任何支持JDBC的数据库中提取数据并将其放入HDFS。http://www.cloudera.com/blog/2009/06/introducing-sqoop/Sqoopimport命令获取要运行的map作业的数量(默认为1)。此外，在并行化工作(映
如果我们有数百万个大小从几KB到几MB不等的小文本文件，HDFS和HBASE中哪一个花费的处理时间更少？还有更少的内存消耗？ 最佳答案 这是一个高层次的问题。缺少有关数据类型的信息。但是，一般而言，我们在决定存储位置等事项时需要牢记以下事项。在HDFS或HBase中:由于我们有质量较小的文件，将其存储在HDFS中会遇到一些问题。名称节点上的元数据会很高如果block大小(输入拆分大小)配置不正确，则完整数据局部性和并行处理的潜力将不会利用。有关输入拆分和之间关系的更多信息block大小，请引用SplitsizevsBlocksize
是否可以在使用javaAPI获取和放置时指定超时(默认行为似乎永远阻塞......特别是当我们的hbase速度慢且负载很重时) 最佳答案 尝试通过这个线程comments.gmane.org/gmane.comp.java.hadoop.hbase.user/23290–ankitKinra 关于performance-htable在javaapi中放置和获取超时，我们在StackOverflow上找到一个类似的问题： https://stackoverflo
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭8年前。Improvethisquestion我计划从Hadoop版本1更新到Hadoop版本2。谁能告诉我(如果您尝试过hadoop版本2)，版本2中的MR/Hive/Pig作业与版本1相比是否有任何性能改进？
对于客户，我一直在研究在AWSEC2上运行Cloudera风格的hadoop集群的短期可行性。在大多数情况下，结果是预期的，逻辑卷的性能大多不可靠，也就是说尽我所能让集群在这种情况下运行得相当好。昨晚我对他们的导入程序脚本进行了全面测试，以从指定的HDFS路径中提取数据并将其推送到Hbase。他们的数据有些不同寻常，因为记录小于1KB，并且被压缩到9MB的gzipblock中。总共有大约50万条文本记录从gzip中提取出来，经过完整性检查，然后推送到reducer阶段。作业在环境的预期范围内运行(溢出记录的数量是我预料到的)但是一个非常奇怪的问题是当作业运行时，它使用8个reducer
我有一个记录的RDD，转换为DataFrame，我想按天时间戳过滤并计算最近30天的统计数据，按列过滤并计算结果。Spark应用程序在进入for循环之前非常快，所以我想知道这是否是一种反模式方法，我怎样才能获得良好的性能，我应该使用spark笛卡尔坐标吗？//FILTERPROJECTRECORDSvalclientRecordsDF=recordsDF.filter($"rowkey".contains(""+client_id))client_records_total=clientRecordsDF.count().toLong这是clientRecordsDF的内容root|-
在不讨论所有其他性能因素、磁盘空间和名称节点对象的情况下，复制因子如何提高MR、Tez和Spark的性能。如果我们有5个数据链，执行引擎将复制设置为5是否更好？什么是最好的和最坏的值(value)？这对聚合、连接和仅限map的作业有何好处？ 最佳答案 Hadoop的主要租户之一正在将计算转移到数据。如果您将复制因子设置为大约等于数据节点的数量，则可以保证每台机器都能够处理该数据。但是，正如您提到的，namenode开销非常重要，更多的文件或副本会导致请求缓慢。在不健康的集群中，更多的副本也会使您的网络饱和。我从未见过高于5的数据，而
我在ReduceMerge阶段遇到了一些性能问题，我想知道是否有人可以看一下。我有一个6GB的数据集(文本)，均匀分布在集群上，该数据集有两个键，然后我将其GroupBy放入两个缩减器(我正在使用级联)。所以每个reducer有3GB的数据。我给每个reducer12GB的内存，但我仍然看到20分钟的合并阶段。两个问题:这个合并不应该完全在内存中完成(如果我有12GB的堆)。即使没有内存合并，20分钟对于合并3GB来说似乎也太长了，尤其是在一个节点上有12个磁盘(JBOD)和12个内核的情况下。我想知道我是否将部分合并数据写入了错误的位置(HDFS，还是本地？)。MAPRFS_BYTE
我在配置单元中使用静态分区根据日期字段将数据隔离到子目录中，我需要为每个表(总共14个表)每年365个分区，因为我每天都会加载到配置单元中。在hive中可以创建的静态分区的数量是否有任何限制？如果“hive.exec.max.dynamic.partitions.pernode”，动态分区会出错在sqoopimport中超过了指定的thresold(100)我有5个节点的HDP集群，其中3个是数据节点如果我增加可以在hive中创建的分区数量，它会影响集群的性能吗？该限制仅适用于动态分区还是也适用于静态分区？引用检查故障排除和最佳实践部分https://cwiki.apache.org/
