草庐IT

Installation-Directory-Variables

全部标签

variables - 通过参数初始化Hadoop中的公共(public)静态变量

我在更改Hadoop中的公共(public)静态变量时遇到问题。我正在尝试从命令行将一些值作为参数传递给jar文件。这是我的代码:publicclassMyClass{publicstaticlongmyvariable1=100;publicstaticclassMapextendsMapper{publicstaticlongmyvariabl2=200;publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{}}publicstaticclassReduceex

Hadoop/YARN 作业失败 - "exited with exitCode: -1000 due to: Could not find any valid local directory for nmPrivate..."

我正在尝试使用Hadoop、YARN和Accumulo运行MapReduce作业。我收到以下输出,但我无法找到问题所在。看起来是YARN问题,但我不确定它在寻找什么。我在$HADOOP_PREFIX/grid/hadoop/hdfs/yarn/logs位置有一个nmPrivate文件夹。这是它说找不到的文件夹吗?14/03/3108:48:46INFOmapreduce.Job:Jobjob_1395942264921_0023failedwithstateFAILEDdueto:Applicationapplication_1395942264921_0023failed2times

Hadoop\HDFS : "no such file or directory"

我已经使用本教程在一台机器上安装了Hadoop2.2:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/一些细节发生了一些变化-例如,我使用了java8、/hadoop根目录等。用户、SSH、配置key-相同。Namenode格式化成功:13/12/2205:42:31INFOcommon.Storage:Storagedirectory/hadoop/tmp/dfs/namehasbeensuccessfullyformatted.13/12/2205:42

variables - 将查询结果存储在变量中

我有一个查询,我想将其结果存储在一个变量中我该怎么做?我试过了./hive-e"usetelecom;insertoverwritelocaldirectory'/tmp/result'selectavg(a)fromabc;"./hive--hiveconfMY_VAR=`cat/tmp/result/000000_0`;我能够在MY_VAR中获得平均值,但它需要我进入HiveCLI,这不是必需的有没有办法在hiveCLI中访问unix命令? 最佳答案 用例:在mysql中以下是有效的:set@max_date:=selectma

hadoop - Hive INSERT OVERWRITE DIRECTORY 命令输出没有用定界符分隔。为什么?

我正在加载的文件由''(空格)分隔。下面是文件。该文件驻留在HDFS中:-0010000010000020010030020040030050040060050070060080070990071>我正在创建一个外部表并通过发出以下命令加载文件:-CREATEEXTERNALTABLEIFNOTEXISTSgraph_edges(src_node_idSTRINGCOMMENT'NodeIDofSourcenode',dest_node_idSTRINGCOMMENT'NodeIDofDestinationnode')ROWFORMATDELIMITEDFIELDSTERMINATED

hadoop fs -ls 结果为 "no such file or directory"

我已经为10节点集群安装并配置了Hadoop2.5.2。1作为主节点,其他节点作为从节点。我在执行hadoopfs命令时遇到问题。hadoopfs-ls命令在HDFSURI上运行良好。在没有HDFSURI的情况下使用时,它会给出消息“ls:`.':Nosuchfileordirectory”ubuntu@101-master:~$hadoopfs-ls15/01/3017:03:49WARNutil.NativeCodeLoader:Unabletoloadnative-hadoopibraryforyourplatform...usingbuiltin-javaclasseswher

hadoop - pig 拉丁语 : Load multiple files from a date range (part of the directory structure)

我有以下场景-pig版使用0.70示例HDFS目录结构:/user/training/test/20100810//user/training/test/20100811//user/training/test/20100812//user/training/test/20100813//user/training/test/20100814/正如您在上面列出的路径中看到的,其中一个目录名称是一个日期戳。问题:我想加载日期范围为20100810到20100813的文件。我可以将日期范围的“从”和“到”作为参数传递给Pig脚本,但我如何在LOAD语句中使用这些参数。我能够做到以下几点te

php - 使用 extract($variables) 获取内容,但变量未定义

我还没有掌握extract()函数和传输变量的窍门。我在用户Controller中有一个方法,其中定义了一些变量,并以数组形式发送到父Controller中的View函数,其中提取了数组。然后需要View。但是变量结果未定义。虽然可以打印数组内容。这是具有简化配置文件功能的用户Controller:classUserextendsController{publicfunctionprofile(){$profiledetails=$this->profiledetails();$profilestatus=$this->profileStatus();$this->view('prof

php - 警告 : mkdir() [function. mkdir] : No such file or directory PHP?

尝试在PHP中使用mkdir()函数时出现此错误。基本上,我是在我的服务器上创建一个基于inputfield的HTML表单中名为(inPut)的sundomain。现在我正在尝试在该子域创建目录后创建它。所以我使用下面的代码:$subDomain=$_POST['inPut'];mkdir("$subDomain.mydoamin.com/newDirectory",0755);但我收到以下错误:Warning:mkdir()[function.mkdir]:Nosuchfileordirectoryinline99.第99行是这样的:mkdir("$subDomain.mydoami

php 递归目录迭代器 : how to exclude directory paths with a dot and double dots?

RecursiveDirectoryIterator似乎从本地主机和实时服务器给我两个不同的结果,define('WEBSITE_DOCROOT',str_replace('\\','/',dirname(__FILE__)).'/');print_r(WEBSITE_DOCROOT);//Listalltheclassdirectoriesinthearray.$main_directories=array('core/model/','core/helper/','core/ext/');//Setothervarsandarrays.$sub_directories=array(