草庐IT

apache-traffic-server

全部标签

java - 编写 MapReduce 时 Apache Phoenix 双数据类型问题

我正在使用ApachePhoenix在Hbase中创建表,因为它提供二级索引功能以及类似sql的数据类型。我使用phoenix创建了一个包含Double和Varchar列的表。CREATETABLEINVOICE(ROWKEYVARCHARNOTNULLPRIMARYKEY,CF1.INVOICEIDVARCHAR,CF1.TOTALAMOUNTDOUBLE,CF1.STATUSVARCHAR,CF1.CREATEDATEDATE);Phoenix将Double值作为ByteArray存储在Hbase中,如下所示column=CF1:TOTALAMOUNT,timestamp=1434

apache - Hadoop 文件系统复制 - 名称节点与数据节点

我需要将一个文件从我的文件系统复制到HDFS,下面是我在hdfs-site.xml中的配置。我应该如何使用“hadoopfs”命令将/home/text.txt中的文件复制到HDFS中?我应该将它复制到名称节点还是数据节点?dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop_store/hdfs/namenodedfs.datanode.data.dirfile:/usr/local/hadoop_store/hdfs/datanode 最佳答案 您使用的是什么版本

sql-server - SQL Server 2012 和 Polybase - 缺少 'Hadoop Connectivity' 配置选项

如标题所述,我正在使用具有Polybase功能的SQLServer2012并行数据仓库来尝试访问HDInisghtHadoop集群。作为从SQLServer到Hadoop的每个连接的起点,我发现执行命令sp_configure@configname='hadoopconnectivity',@configvalue={0|1|2|3|4|5};RECONFIGURE;执行后,我收到以下错误:Theconfigurationoption'hadoopconnectivity'doesnotexist,oritmaybeanadvancedoption.请注意,我将高级选项设置为1(可见)

maven - Apache Hadoop 2.6.0 源代码编译问题

我在64位bitcentos6.5中编译Hadoop2.6.0并收到以下错误消息。谁能帮帮我?环境细节:Jave版本:1.7.0_71-b14Maven版本:ApacheMaven3.2.5开启SSL版本:OpenSSL1.0.x协议(protocol)版本:libprotoc2.5.0Cmake版本:2.8.12.2错误消息详情如下:[INFO]ReactorSummary:[INFO][INFO]ApacheHadoopMain.................................SUCCESS[2.259s][INFO]ApacheHadoopProjectPOM..

java - org.apache.hadoop.ipc.RemoteException 错误

我想将一些文件从Windows机器复制到在SingleNode上的ubuntu14.04.02上运行的hadoop。这是用于此目的的代码;Configurationconfiguration=newConfiguration();configuration.addResource(newPath("/core-site.xml"));configuration.addResource(newPath("/mapred-site.xml"));FileSystemhdfs=FileSystem.get(configuration);PathhomeDirectory=hdfs.getHo

sql-server - 如何将特定模式的数据从 SQL Server 2014 (Unicode) 导入 Hive 仓库

我想从SQLServer导入数据并从hive查询它。我使用cloudera模板创建了一个VirtualBox,并开始阅读它的教程。我成功地能够使用sqoop作为avro文件从SQLServer导入数据,然后在配置单元中创建表并从avro文件导入数据。然后从hive查询。但是sqoop的import-all-tables命令只导入模式“dbo”的表。如果我还想导入具有架构dw的表怎么办?我尝试使用import命令导入dw模式中存在的特定表。但这也行不通。知道如何使用sqoop从SQLServer为非dbo.架构相关表导入数据作为avro吗?或者从SQLServer导入数据而不是dbo.模

DELL PowerEdge R620 重新安装Server 2008 R2 一路的各种坑

DELLPowerEdgeR620服务器重装Server2008R2流程中遇到的坑。1.不知道服务器和普通PC安装的区别   刚开始有点蜜汁自信,网上很快就找到了Server2008R2的镜像。照着PC的那套流程装,系统就是跑不起来,一直反复重启。看帖子后,发现少了一步配置RAID。于是重启Ctrl+R,打开了新天地,啥也不懂。发现已经配置了raid5,还没配置的小伙伴网上帖子一大堆,去搜吧。哈哈进行下一步。头铁继续使用U盘PE环境继续安装,还是跑不起来。2.找了好多不能用的RAID驱动,就很无语    放弃自动安装,手动开始,双击iso镜像文件里的setup.exe,开始执行手动安装程序,选

hadoop - 无法启动配置单元外壳——无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

几个月前我安装了hive0.14。它运行良好。但是当我现在开始时,它会让我陷入错误。安装hive后,我只在我的ubuntu机器上安装了spark、mysql、hbase,但是hbase也没有启动。认为java可能是一个问题,因为我安装了两个jdk版本,卸载了整个java包并安装了oraclejava7并将我的JAVA_HOME指向/usr/lib/jvm/java-7-oracle。这并没有解决我的问题所以安装一个新的hive版本1.0.1,这也不利于我。我在谷歌上搜索了很多相同的错误并尝试应用它但没有运气。我不确定最近安装的spark是否导致我不匹配。有人可以帮我解决这个问题。以下是

json - Apache spark 存储和查询 json 数据是一个很好的用例吗?

架构-关于架构的简要描述,我正在开发一个人们查询并等待答案的回答引擎(与搜索引擎不同的东西)。后端寻找自动答案,或者如果没有直接找到答案,它会将带有置信度分数的片段发送到界面。生成的任何片段和答案都存储在Mongodb集合中。每个查询都会得到一个唯一的URL和snippetid,我将这个id保存在Mongodb中,每当用户从其他搜索引擎跳转到URL时,就会进行从Mongodb集合中获取数据的查询。一开始这个架构运行良好,但现在数据在增加,我非常需要更好的架构。我应该将数据存储在Hadoop中并可以编写MR程序来获取数据。我应该优先使用spark和shark我应该坚持使用Mongodb我

java - Apache Spark 中的持久化选项

您好,我是ApacheSpark的新手,我正在使用Java中的Apachesparksql查询配置单元表。这是我的代码SparkConfsparkConf=newSparkConf().setAppName("Hive").setMaster("local");JavaSparkContextctx=newJavaSparkContext(sparkConf);HiveContextsqlContext=neworg.apache.spark.sql.hive.HiveContext(ctx.sc());org.apache.spark.sql.Row[]results=sqlCont