草庐IT

state-management

全部标签

hadoop - 定位 Cloudera Manager HDFS 配置文件

我已经通过ClouderaManager安装了一个集群,现在我需要手动启动集群。我一直在使用以下命令:$sudo-uhdfshadoopnamenode/datanode/jobtracker但是dfs.name.dir被设置为/tmp。我似乎找不到cloudera管理器在哪里有HDFS配置文件。/usr/lib/hadoop-02*/conf中的那些似乎是最小的。他们缺少dfs.name.dir,这是我特别要找的。顺便说一下,我在RHLE6系统上。由于懒惰,我虽然可以只复制cloudera管理器的HDFS配置文件,所以我不必手动创建它们,将它们复制到6个节点:)谢谢

hadoop - "Got error creating database manager"- sqoop 导入查询出错

场景:我正在尝试从sqlserver导入到HDFS,但出现以下错误:错误:hadoop@ubuntu:~/sqoop-1.1.0/bin$./sqoopimport--connect'jdbc:sqlserver://192.168.230.1;username=xxx;password=xxxxx;database=HadoopTest'--tablePersonInfo--target-dir/home/hadoop/hadoop-0.21.0/11/12/1012:13:20ERRORtool.BaseSqoopTool:Goterrorcreatingdatabasemanag

memory-management - HBase MemStore 和垃圾收集

我是HBase的新手,但我已经设置好HBase和Hadoop并了解一些相关知识。当我研究HBaseMemStore时,我对MemStore的全部了解是“MemStore是HBase放置必须写入或读取的数据的内存位置”。所以,这就是为什么我们想在何时何地阅读有关memstore的内容时,我们也会看到有关垃圾收集的讨论。现在我的问题是,memstore的唯一目的是在内存中保存可读和可写的数据吗?我们可以调整该内存的大小以获得hbase的快速回复吗?垃圾收集配置(收集器配置)会影响内存库吗?我认为应该是的。:) 最佳答案 关于HbaseM

hadoop - 在没有cloudera manager的情况下安装cloudera impala

请提供在没有cloudera管理器的情况下在ubuntu中安装imapala的链接。无法使用官方链接安装。无法使用这些查询定位包impala:sudoapt-getinstallimpala#Binariesfordaemonssudoapt-getinstallimpala-server#Servicestart/stopscriptsudoapt-getinstallimpala-state-store#Servicestart/stopscript 最佳答案 首先你需要获取包列表并将其存储在/etc/apt/sources.l

使用 hadoop MiniDFSCluster 时出现 javax.management.InstanceAlreadyExistsException

我正在使用MiniDFSCluster进行junit测试。现在我只是启动和关闭集群,junit运行绿色。但我得到这个异常(exception):javax.management.InstanceAlreadyExistsException:MXBeanalreadyregisteredwithnameHadoop:service=NameNode,name=MetricsSystem,sub=Controlatcom.sun.jmx.mbeanserver.MXBeanLookup.addReference(MXBeanLookup.java:120)atcom.sun.jmx.mbe

hadoop - YARN Application Master 无法连接到 Resource Manager

我有一个4节点集群(1个名称节点/资源管理器3个数据节点/节点管理器)我正在尝试运行一个简单的tez示例orderedWordCounthadoopjarC:\HDP\tez-0.4.0.2.1.1.0-1621\tez-mapreduce-examples-0.4.0.2.1.1.0-1621.jarorderedwordcountsample/test.txt/sample/out作业被接受,Applicationmaster和容器被设置但是在节点管理器上我看到了这些日志2014-09-1017:53:31,982INFO[ServiceThread:org.apache.tez.

postgresql - 无法使用 Cloudera Manager 安装 hadoop

我正在尝试使用clouderaManager5.9在单个VM中设置hadoop集群(为简单起见)。以下是我的环境的详细信息:HostOS->Windows10Virtualizationsoftware->Virtualbox5.1.10GuestOS->CentOS6.8我安装了ClouderaManager,并按照ClouderaManager的说明按照步骤操作。大部分安装步骤都很好,但在最后一次检查时失败了。下面是它的屏幕截图。如屏幕截图所示,它给出了错误:“意外错误。无法验证数据库连接。”我已经对Cloudera默认使用的Postgres数据库的配置文件进行了必要的更改,即它应

java - SQOOP SQLSERVER 无法加载驱动程序 "appropriate connection manager is not being set"

我下载了sqljdbc4.jar.我正在调用sqoop就像从文件夹(存储jar的地方)一样:sqooplist-tables--drivercom.microsoft.jdbc.sqlserver.SQLServerDriver--connectjdbc:sqlserver://localhost:1433;user=me;password=myPassword;-libjars=./sqljdbc4.jar我收到以下警告和错误:13/10/2518:38:13WARNsqoop.ConnFactory:Parameter--driverissettoanexplicitdriverh

memory-management - memory_get_peak_usage 与实际 php 进程内存使用量的区别

为什么phpmemory_get_peak_usage的结果与在Linux中使用“top”或“ps”命令时显示为分配给进程的内存大小差异如此之大?我在php.ini中设置了2Mb的memory_limit我的单字符串php脚本echomemory_get_peak_usage(true);说它正在使用786432字节(768Kb)如果我尝试向系统询问当前的php进程echoshell_exec('ps-p'.getmypid().'-Fl');它给了我FSUIDPIDPPIDCPRINIADDRSZWCHANRSSPSRSTIMETTYTIMECMD5Swww-data14599145

php - 如何在 DBALException 后重新打开 Doctrine Entity Manager

我有一个带有Symfony2的控制台应用程序,该脚本在cron(终端)上运行。但是,在\Doctrine\DBAL\DBALException之后,脚本抛出N\Doctrine\ORM\ORMException并显示消息“TheEntityManagerisclosed.”。这是脚本的一部分:try{$this->getDoctrine()->getConnection()->beginTransaction();//...$manager=$this->getDoctrine()->getManager();$entity=newPost();$entity->setAuthor($