草庐IT

schema_format

全部标签

hadoop - 启动 hdfs namenode -format 时出错

我在启动时在远程服务器上安装hadoophdfs名称节点格式出现错误java.net.UnknownHostException:Web:Web:unknownerror我已经配置了所有需要的文件16/10/1414:28:38INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=java.net.UnknownHostException:Web:Web:unkno

sql - 如何正确格式化 "select top 1000 * from schema.table_name;"以在 Toad 4 Apache Hadoop 中工作?

尝试在Toad4ApacheHadoop(Hive)中运行它,它无法识别top函数。我该如何重新格式化?selecttop1000*fromFinance.ACCT_LIST 最佳答案 您可以使用LIMIT:select*fromFinance.ACCT_LISTorderbysomecolumnlimit1000如果你想得到一组一致的行,你应该添加一个orderby子句。 关于sql-如何正确格式化"selecttop1000*fromschema.table_name;"以在Toad

hadoop - Apache Drill 无法从 HDFS 读取文件(资源错误 : Failed to create schema tree)

在我们的HDFS集群的一个边缘节点上设置drill后,我无法读取任何hdfs文件。我可以从本地文件查询数据(只要它们位于具有777权限的文件夹中)但是从hdfs查询数据失败并出现以下错误:Error:RESOURCEERROR:Failedtocreateschematree.[ErrorId:d9f7908c-6c3b-49c0-a11e-71c004d27f46onserver-name:31010](state=,code=0)查询:0:jdbc:drill:zk=local>select*fromhdfs.`/names/city.parquet`limit2;从本地文件查询工

hadoop - pig 帮 : How can I add a fixed field that is not defined in the schema

如何添加架构中未定义的固定字段(例如日期或月份)?我运行了以下pig脚本以将固定日期添加到我的结果表中,并收到以下错误消息:Invalidfieldprojection。方案中不存在投影字段[日期]。joined_table=joinAby(key1),Bby(key1);result=foreachjoined_tablegenerate20140625asdate,A::value1asv1,B::value1asv2; 最佳答案 这是你可能想要的:result=FOREACHjoined_tableGENERATE'20140

java - hadoop java.io.IOException : while running namenode -format on OSX 错误

我在格式化namenode时遇到以下错误,我已经尝试使用sudosu,正如其他一些堆栈溢出解决方案中提到的那样,但我仍然遇到此错误,请协助。14/01/1616:10:41INFOutil.GSet:ComputingcapacityformapINodeMap14/01/1616:10:41INFOutil.GSet:VMtype=64-bit14/01/1616:10:41INFOutil.GSet:1.0%maxmemory=889MB14/01/1616:10:41INFOutil.GSet:capacity=2^20=1048576entries14/01/1616:10:4

java - Avro Schema Evolution With GenericData.Record - Mapreduce 过程

我有一个mapreduce程序,它从avro数据中读取数据,对其进行处理并输出avro数据。我有这个avro数据的模式,假设有4列。我使用GenericData.Record来写入avro数据。现在,我使用具有5列的模式在此数据之上创建一个pig关系。第5列是新的,具有avsc文件中定义的默认值。根据我的理解,我应该能够使用带有一列的新模式读取旧数据(由4列生成)。相反,我收到一条错误消息-Tryingtoaccessnon-existcolumn.我错过了什么?Mapreduce驱动程序代码Jobjob=Job.getInstance(getConf());job.setJarByC

regex - Hadoop Hive SerDe Row Format for String Quoted Space delimited file

我正在尝试为具有以下格式的日志文件创建一个Hive表。日志文件:#Software:1#Version:1#Start-Date:xx#Date:xx#Fields:datetimetime-takenc-ipcs-usernamecs-auth-groupx-exception-idsc-filter-resultcs-categoriescs(Referer)sc-statuss-actioncs-methodrs(Content-Type)cs-uri-schemecs-hostcs-uri-portcs-uri-pathcs-uri-querycs-uri-extensionc

linux - 从主节点执行命令 "hadoop namenode -format "时出错?

我已经配置了hadoop(多节点设置)。在启动hadoop之前,我想为此格式化名称节点,我运行以下命令-->>hadoopnamenode-format它给出了一个错误-->/home/sandip/project/hadoop-1.1.2/bin/hadoop:line320:/usr/lib/jvm/java-6-openjdk-i386/jre/bin/java/bin/java:Notadirectory/home/sandip/project/hadoop-1.1.2/bin/hadoop:line390:/usr/lib/jvm/java-6-openjdk-i386/jr

Hadoop 配置单元 SQL : Create External Table from an oddly formatted file

目前我有一个初始系统在工作,它读取一个文件,每行格式如下所示:REVISION1230364918Anarchism2005-12-06T17:44:47ZRJII141644使用此代码:CREATEEXTERNALTABLEmytable(typeSTRING,aidBIGINT,ridBIGINT,titleSTRING,tsSTRING,unameSTRING,uidSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY''STOREDASTEXTFILELOCATION'/my/local/path/to/file';但是现在我有一个文件,每一行

hadoop - 如何使用 Hive 显示 Information Schema?

有什么方法可以使用Hive实现information_schema吗?另外,在Hive中进行数据分析的过程是什么?在SQL中,我们使用Information_Schema的示例如下:SELECT*FROMINFORMATION_SCHEMA.TABLES; 最佳答案 information_schema没有在Hive中实现,有一个openJIRA对于相同的。默认情况下,Hive使用Derby作为Metastore来存储表元数据。通过连接到Derby,可以看到系统表。 关于hadoop-如