草庐IT

thread_name

全部标签

hadoop - Oozie 和 Hive : FAILED: SemanticException Unable to fetch table <table_name>

我今天刚启动Oozie,我注意到在运行Hive操作时出现不一致的错误。当我运行完全相同的Oozie工作流时,有时它会成功,而有时它会因Hive操作的此错误而失败:FAILED:SemanticExceptionUnabletofetchtable1)这是什么原因?2)解决方法是什么?目前我只是再次运行Oozie作业直到成功,有时需要多次尝试。我正在使用ClouderaCDH4、MRv1。我是手动安装的,而不是使用ClouderaManager。我有一个三节点集群。Master节点包含NameNode、SecondaryNameNode、JobTracker、HMaster;此外,Mas

java - Thread Main 中的异常 : ClassNotFoundException

我在学校集群中运行hadoop。我在主线程中遇到异常,未找到类异常。Exceptioninthread"main"java.lang.ClassNotFoundException:movielens.MovieLensDriveratjava.net.URLClassLoader$1.run(URLClassLoader.java:366)atjava.net.URLClassLoader$1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net

hadoop - 与 HDFS 通信 : Exception in thread "main" java. io.IOException : Failed on local exception: java. io.EOFException

publicstaticvoidmain(String[]args)throwsIOException{Configurationconf=newConfiguration();conf.addResource(newPath("/home/myname/hadoop-1.2.1/conf/core-site.xml"));conf.addResource(newPath("/home/myname/hadoop-1.2.1/conf/hdfs-site.xml"));System.out.println("AttemptinginitializationofFileSystem");

hadoop - Fi-Ware 宇宙 : Name node is in safe mode

我正在尝试删除我的Cosmos帐户中的一个文件夹,但我得到了SafeModeException:#hadoopfs-rmr/home//inputrmr:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/user//input.Namenodeisinsafemode 最佳答案 在启动期间,Namenode从fsimage加载文件系统状态并编辑日志文件。然后它等待数据节点报告它们的block,这样它就不会过早地开始复制block,尽管集群中已经

java - Hadoop Java 错误 : Exception in thread "main" java. lang.ClassNotFoundException : com. packt.ch3.etl.ParseWeblogs

我是Hadoop的新手。我按照一些教程尝试在版本为2.7.0的hadoop集群中运行示例,不幸的是我得到如下错误:$javac*.java$jarcvfmyjar.jar*.class$hadoopjar./myjar.jarcom.packt.ch3.etl.ParseWeblogs/user/hadoop/apache_clf.txt/user/hadoop/apache_clf_tsvExceptioninthread"main"java.lang.ClassNotFoundException:com.packt.ch3.etl.ParseWeblogsatjava.net.UR

ModuleNotFoundError: No module named ‘transformers‘,已经安装了transformers库

明明已经安装了transformers库了,运行代码时却说找不到。先说明我的环境。系统:windowsIDE:pycharm框架:PyTorch包管理:Anaconda我用的windows环境跑的模型,有时候重新开机,会出现说我没有安装transformers库,之前重开几次就可以了没太在意,今天终于知道原因了。。。我这里的原因是:没有切换到pytorch环境(对应项目的环境,我这里起的名字就叫pytorch),还在base环境,因此程序返回说没有找到transformers库。1.先排查你的原因是否和我一样:输入以下命令,看你所在的环境condainfo-e比如我的是显示这个表示我还在bas

hadoop - Cloudera CDH4 : Can't add a host to my cluster because canonical name is not consistent with hostname

我正在使用Ubuntu12.04LTS在4节点集群上安装CDH4。我能够安装cloudera管理器并在主机上启动单节点集群。但是,一旦我添加了一个新主机,CM就会说它运行状况不佳并抛出以下错误:“从Java进程检查时,此主机的主机名和规范名称不一致。”我修改了master和所有主机上的/etc/hosts的内容,以包含IP地址,后跟每台机器的FQDN。我是否还需要设置一个DNS服务器才能完成这项工作? 最佳答案 您不一定需要设置DNS服务器才能使其正常工作,但正向和反向DNS必须明确匹配Hadoop才能正常运行。Hadoop操作书有

java - Cassandra 错误 :Invalid method name "describe local ring"

我正在使用java在hadoop中开发一个项目。当我在本地集群上运行我的代码(jar)时它工作正常但是当我在亚马逊多集群上运行它时它会给出异常...我的mapreduce作业代码....job.setJarByClass(ReadActivityDriver.class);job.setMapperClass(ReadActivityLogMapper.class);job.setReducerClass(ReadActivityLogReducer.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueCla

python - 导入错误 : No module named 'MySQL'

我已成功下载MySQL连接器/Python。我在Python的shell中使用了以下代码来测试我的连接:导入mysql.connector我收到以下错误消息:Traceback(mostrecentcalllast):File"",line1,inimportmysql.connectorImportError:Nomodulenamed'mysql'我不明白为什么MySQL没有被识别。 最佳答案 我遇到了类似的问题。我的环境细节-python2.7.11点9.0.1CentOS5.11版(最终版)python解释器出错->>>im

python - 导入错误 : No module named 'MySQL'

我已成功下载MySQL连接器/Python。我在Python的shell中使用了以下代码来测试我的连接:导入mysql.connector我收到以下错误消息:Traceback(mostrecentcalllast):File"",line1,inimportmysql.connectorImportError:Nomodulenamed'mysql'我不明白为什么MySQL没有被识别。 最佳答案 我遇到了类似的问题。我的环境细节-python2.7.11点9.0.1CentOS5.11版(最终版)python解释器出错->>>im