草庐IT

SOME_CODE

全部标签

shell - 将目录传递给 hadoop streaming : some help needed

上下文是我正在尝试在AmazonEMR(WebUI)上使用我运行的bash脚本运行流式作业:-inputs3://emrdata/test_data/input-outputs3://emrdata/test_data/output-mappers3://emrdata/test_data/scripts/mapperScript.sh-reducerNONE输入目录中有子目录,这些子目录中有gzip数据文件。mapperScript.sh失败的相关部分是:forfilenamein"$input"/*;dodir_name=`dirname$filename`fname=`basen

hadoop - 创建外部表时Hive报错(state=08S01,code=1)

我试图在Hive中创建一个外部表,但不断收到以下错误:createexternaltablefoobar(aSTRING,bSTRING)rowformatdelimitedfieldsterminatedby"\t"storedastextfilelocation"/tmp/hive_test_1375711405.45852.txt";Error:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask(state=08S01,c

hadoop - Protocol Buffer 错误 : Hbase createTable & put in java code(protobuf-LiteralByteString)

我正在使用kafka、sparkstream和hbase开发java应用程序。通过mavencleaninstall编译代码后,当我运行我的应用程序时遇到以下错误:hadoop版本:2.7.3HBase版本:hbase-0.98.24-hadoop2星火:2.1.0虽然我已经检查并应用了该站点中以前的答案,但我仍然遇到了问题。谢谢...`Exceptioninthread"main"org.apache.hadoop.hbase.DoNotRetryIOException:java.lang.NoClassDefFoundError:com/google/protobuf/Litera

hadoop - 如何解决 java.lang.RuntimeException : PipeMapRed. waitOutputThreads() : subprocess failed with code 2?

我正在尝试在Hadoop环境中执行NLTK。以下是我用于执行的命令。bin/hadoopjar$HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar-input/user/nltk/input/-output/user/nltk/output1/-file/home/hduser/softwares/NLTK/unsupervised_sentiment-master.zip-mapper/home/hduser/softwares/NLTK/unsupervised_sentiment-master/sentiment.py

hadoop - hive 抛出 : WstxParsingException: Illegal character entity: expansion character (code 0x8)

我在this之后安装了hadoop和hive教程。该教程已过时,因此我使用了当前版本。当我启动配置单元时,出现以下错误:hiveSLF4J:Actualbindingisoftype[org.apache.logging.slf4j.Log4jLoggerFactory]Exceptioninthread"main"java.lang.RuntimeException:com.ctc.wstx.exc.WstxParsingException:Illegalcharacterentity:expansioncharacter(code0x8at[row,col,system-id]:[

Hadoop java.io.IOException : Mkdirs failed to create/some/path 异常

当我尝试运行我的作业时,出现以下异常:Exceptioninthread"main"java.io.IOException:Mkdirsfailedtocreate/some/pathatorg.apache.hadoop.util.RunJar.ensureDirectory(RunJar.java:106)atorg.apache.hadoop.util.RunJar.main(RunJar.java:150)其中/some/path是hadoop.tmp.dir。但是,当我在/some/path上发出dfs-lscmd时,我可以看到它存在并且数据集文件存在(在午餐工作之前复制)。

hadoop - 什么是 Hive : Return Code 2 from org. apache.hadoop.hive.ql.exec.MapRedTask

我得到:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.MapRedTask尝试使用Hive控制台中的命令制作分区表的副本​​时:CREATETABLEcopy_table_nameLIKEtable_name;INSERTOVERWRITETABLEcopy_table_namePARTITION(day)SELECT*FROMtable_name;我最初遇到了一些语义分析错误,不得不设置:sethive.exec.dynamic.partition=truesethive.exec.dynami

php - Docker 服务构建失败 : return a non-zero code 1

我尝试使用docker为php安装一些需要的扩展。这是我的Dockerfile:FROMphp:7-fpmRUNapt-getupdate&&apt-getinstall-y\libfreetype6-dev\libjpeg62-turbo-dev\libmcrypt-dev\libpng12-dev\libsqlite3-dev\libssl-dev\libcurl3-dev\libxml2-dev\libzzip-dev\&&docker-php-ext-installiconvjsonmcryptmbstringmysqlmysqlipdo_mysqlpdo_sqlitephar

php -/home/vagrant/Code/Laravel/public 位于哪里?

我正在尝试安装Laravel5.2,我到了配置homestead.yaml文件的地步。我知道/home/vagrant/Code/Laravel/public是我的项目文件应该所在的位置:sites:-map:homestead.appto:/home/vagrant/Code/Laravel/public我在Windows7上,但找不到此/home文件夹的位置。有谁知道它在哪里?还是我的Laravel项目位于另一个文件夹中? 最佳答案 这个文件夹在虚拟机里面。您需要将PC上的真实文件夹(如C:\Laravel\public)映射到

php - Laravel SwiftMailer : Expected response code 250 but got code "530", 消息“530-5.5.1 需要身份验证

我正在使用laravel5.2,并使用SwiftMailer进行密码重置。我的Gmail有两步验证。。正如谷歌帮助所说:如果您已为您的帐户启用两步验证,您可能需要输入应用密码而不是常规密码。我在mail.php上有以下设置:return['driver'=>env('MAIL_DRIVER','smtp'),'host'=>env('MAIL_HOST','smtp.gmail.com'),'port'=>env('MAIL_PORT',465),'from'=>['address'=>'meaprogrammer@gmail.com','name'=>'Shafee'],'encry