草庐IT

security - 是否有与 Accumulo 的授权类等效的 HBase 1.2?

在Accumulo1.6中,有一个org.apache.accumulo.core.security.Authorizations类(class)。它基本上包装了一组授权字符串。Authorizations对象可以传递给如下方法:org.apache.accumulo.core.client.Connector.createScanner(字符串,授权)org.apache.accumulo.core.client.Connector.createBatchDeleter(String,Authorizations,int,BatchWriterConfig)HBase1.2有类似的概

hadoop - 无法删除 HDFS 损坏的文件

我无法删除我的HDFS中存在的损坏文件。Namenode已进入安全模式。区block总数为980,其中978已报告。当我运行以下命令时,sudo-uhdfshdfsdfsadmin-report生成的报告是,SafemodeisONConfiguredCapacity:58531520512(54.51GB)PresentCapacity:35774078976(33.32GB)DFSRemaining:32374509568(30.15GB)DFSUsed:3399569408(3.17GB)DFSUsed%:9.50%Underreplicatedblocks:0Blockswit

apache - Hbase ipc.RpcServer responseTooSlow 问题和区域服务器关闭

我已经使用Hadoop2.7.4配置了Hbase1.2.6。我已经在上面配置了Nutch。以下是两个Hbase站点属性hbase.rpc.timeout1200000Changedto20minuteshbase.client.scanner.timeout.period1200000Changedto10minutes当我开始工作时。警告开始一段时间后,区域服务器关闭。这就是为什么Job也失败了。2017-12-2217:39:25,660WARN[B.defaultRpcServer.handler=18,queue=0,port=16020]ipc.RpcServer:(resp

大数据中的HBase的选择题

一.单选题(共9题,49.5分)(单选题)下列关于BigTable的描述,哪个是错误的?A.爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里B.BigTable是一个分布式存储系统C.BigTable起初用于解决典型的互联网搜索问题D.网络搜索应用查询建立好的索引,从BigTable得到网页正确答案:A:爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里;(单选题)下列选项中,关于HBase和BigTable的底层技术对应关系,哪个是错误的?A.GFS与HDFS相对应B.GFS与Zookeeper相对应C.MapReduce与HadoopMapRe

hadoop - java.io.IOException :java. lang.ClassCastException : org. apache.hadoop.hbase.client.Result 无法转换为 org.apache.hadoop.io.Writable

尝试了一个从hive处理hbase中的表的示例。CREATEEXTERNALTABLE命令成功,但是select语句给出类转换异常环境:hive0.12.0,hbase0.96.1,hadoop2.2,Virtualbox上的Ubuntu12.04hive>SHOWTABLES;OKhbatablese_myhiveTimetaken:0.309seconds,Fetched:1row(s)hive>SELECT*FROMhbatablese_myhive;OK**异常失败java.io.IOException:java.lang.ClassCastException:org.apac

hadoop - 到 HBase 的 Flume 交易失败

我有一个Flume代理将推文写入HBase接收器。几秒钟后,到接收器的事务失败,每隔8-10秒我就会在Flume代理日志中收到这些错误消息,告诉我到HBase的事务失败。奇怪的是,一些推文仍然通过并进入HBase表。是什么原因造成的?这是在单节点ClouderaQuickstartVM上运行,会不会是资源问题?这是代理日志9:20:44.618PMERRORorg.apache.flume.SinkRunnerUnabletodeliverevent.Exceptionfollows.org.apache.flume.EventDeliveryException:Couldnotwri

apache - Hbase Master 和 Region 服务器无法启动

Hadoop在分布式模式下成功运行。在分布式模式下启动HBase时出现以下错误。尝试了hbase-site.xml配置中的所有内容。不知道如何处理这个问题?014-03-1013:55:42,493INFOorg.apache.zookeeper.ClientCnxn:Openingsocketconnectiontoserverip-112-11-1-111.ec2.internal/112.11.1.111:2181.WillnotattempttoauthenticateusingSASL(Unabletolocatealoginconfiguration)2014-03-101

hadoop - 我如何使用 distcp 备份 hbase?

我想使用distcp备份hbase文件。然后将hbase指向新复制的文件并使用存储的表。我知道有一些工具可以推荐用于这项工作。但是,我想知道在复制文件后我需要做什么才能让hbase识别复制的文件。例如,我想启动hbaseshell并从新复制的文件中扫描存储的表。 最佳答案 DistCp(分布式副本)是用于大型集群间/集群内复制的工具。因此,如果您想将clusterA备份到clusterB,您必须:使用distcp从clusterA复制到clusterB启动一个Hbasemaster和一些RegionServers在clusterB上

Azure 上的 Node.js 和 HBase (HDInsight)

我正在尝试从Node.js访问MicrosoftAzure上的HBase。我查看了不同的库,例如hbase和RESTAPI(webhcat)。我想要实现的是创建一个表并从Node.js上传数据。稍后我想对该数据集进行查询。不幸的是,Azure的文档在这方面没有太大帮助,因为它侧重于PowerShell和.NETSDK。我发现的一篇非常有用的文章是:http://blogs.msdn.com/b/bigdatasupport/archive/2014/04/22/querying-hdinsight-job-status-with-webhcat-via-native-powershel

java - 对具有大量版本的长表进行全面扫描只会得到一小部分行

我有这样的情况,我需要扫描包含大约50列的表,每列包含大约100个版本。没有什么特别的(this.htable恰好是HTable而processor用于处理结果行):finalScanscan=newScan();scan.setCaching(1000);scan.setMaxVersions(Integer.MAX_VALUE);finalResultScannerrs=this.table.getScanner(scan);try{for(Resultr=rs.next();r!=null;r=rs.next()){processor.processRow(r);}}finall