草庐IT

hadoop - 所有列族都没有从 Cassandra 键空间映射到 Hive 数据库

我正在使用与hadoophive集成的cassandra。我的键空间测试中有这两个列族-1)CF_1createCOLUMNFAMILYCF_1(keyuuidprimarykey,timevarchar,typevarchar);2)CF_2createCOLUMNFAMILYCF_2(idvarchar,timetimestamp,datavarchar,primarykey(id,time));因此配置单元仅将CF_1从我的cassandra键空间映射到配置单元表。我认为其他列族(CF_2)未映射,因为它具有复合主键。要么我认为目前在DataStax企业套件中不支持具有复合键的C

java - 如何使用java删除hbase列族

我们可以用shell删除列族,如下:hbase(main):007:0>alter'sample_table','delete'=>'cf'但是我想用java删除列族。是否有任何javaapi可以这样做。 最佳答案 您可以使用HBaseAdmin类,它有方法deleteColumnFamily。请参见下面的示例:HBaseAdminadmin=newHBaseAdmin(conf);admin.deleteColumnFamily(TableName.valueOf(yourTableName),yourColumnFamilyNa

hadoop - 使用 Pig 在 HBase 中为列族添加可变数量的列

我需要使用HBaseStorage从Pig加载到HBase,但我无法弄清楚如何为特定列族加载可变数量的列。(已知数量的列很简单)看起来像这样的数据:(为便于阅读而添加的空格)Id,ItemId,Count,Date1,1,2,2015-02-012,2,2,2015-02-023,1,2,2015-02-03我有一个HBase表,其中包含rowkey和一个名为Attributes的列族。所以我首先加载csv使用:A=LOAD'items.csv'USINGPigStorage(',')as(Id,ItemId,Count:chararray,CreationDate:chararray

hadoop - 在 HBase 中使用月份作为列族

我正在尝试设计一个用于在HBase中存储时间序列数据的表。由于一个月内写入的所有数据都将“一次全部”读取以进行分析,我想知道使用月份(作为字符串,如“201501”)作为列族是否是一个好的选择选择。我的应用程序将在数据到达时使用时间戳保存数据,然后在月底,将使用hadoop作业分析与该月相关的所有数据。根据规范,列族中的所有数据将存储在一起。就(1)设计和(2)性能而言,这是一个好的做法吗?我不确定,因为这是一种远离关系世界的选择。 最佳答案 一般来说,HBase中有很多列族会影响性能。我认为使用HBase时不建议使用超过2个或3个

hadoop - 如何将值放入 hbase 中的多个列族中

我正在寻找一个hbaseput命令,它可以将值插入到hbase表中同一行键的多个列族中假设我有一个名为'emp'的hbase表,其中包含两个列族,例如'personal'和'educational'我正在应用以下命令。它抛出一些语法错误put'emp','100','personal:name','SURENDER','educational:degree','BTECH'ERROR:nomethod'add'forarguments(org.jruby.java.proxies.ArrayJavaProxy,org.jruby.java.proxies.ArrayJavaProxy,

hadoop - 如何在单个 Hadoop 作业中输出到多个 Cassandra 列族?

Cassandra数据模型经常需要更新多个列族以支持单个“写入”(即更新双向索引的两侧)。当作业配置仅允许指定单个输出列族时,我如何使用Hadoop执行此操作? 最佳答案 这可以通过使用补丁程序修补Cassandra1.1来实现:https://issues.apache.org/jira/browse/CASSANDRA-4208一旦你有了这个,而不是ConfigHelper.setOutputColumnFamily(),你将调用ConfigHelper.setKeyspace()。然后,您可以使用MultipleOutputs

hadoop - 如何设置Hbase表列族的列族大小?

我正在尝试将CSV文件中的数据导入到HBase表中。但是我在导入过程中遇到了下图所示的异常。Error:com.google.protobuf.InvalidProtocolBufferException:Protocolmessagewastoolarge.Maybemalicious.UseCodedInputStream.setSizeLimit()toincreasethesizelimit.atcom.google.protobuf.InvalidProtocolBufferException.sizeLimitExceeded(InvalidProtocolBufferEx

hadoop - Hbase 中列和列族的设计

您好,我是hbase的新手,想询问有关列和列族的问题。这是我的任务,我一直在为此进行设计。我必须以不同的格式和不同的语言在hbase中保存月份名称。每条记录都应该有:lang_id,format,language,translation.现在lang_id用于:January=1,February=2......格式可以是:full(meansJanuary)3figure(meansJan)语言可以是:engarabicurduetc...现在翻译将有更多的列,例如:idcontenttimestampid表示翻译的id内容为实际数据e.gforlang_id=1format=ful

java - 获取一行 HBase 的特定列族中的列

我正在编写一个应用程序,通过JSP显示HBase中特定表中的数据。我想获取一行的特定列族中的所有列。有什么办法吗? 最佳答案 publicString[]getColumnsInColumnFamily(Resultr,StringColumnFamily){NavigableMapfamilyMap=r.getFamilyMap(Bytes.toBytes(ColumnFamily));String[]Quantifers=newString[familyMap.size()];intcounter=0;for(byte[]bQu

python - 如何使用 pycassa 获取存储在 Cassandra 列族中的所有键?

是否有人有使用pycassa的经验?我对此有疑问。如何获取存储在数据库中的所有key?好吧,在这个小片段中,我们需要提供键以获取关联的列(这里的键是“foo”和“bar”),这很好,但我的要求是获取所有键(仅键)立即作为Python列表或类似的数据结构。cf.multiget(['foo','bar']){'foo':{'column1':'val2'},'bar':{'column1':'val3','column2':'val4'}}谢谢。 最佳答案 尝试:list(cf.get_range().get_keys())更多好东西