我正在使用sqoop将数据从oracledb加载到hive规范:CDH-5.5.1Sqoop1.4.2初始化:exportSQOOP_HOME=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/sqoopexportHIVE_HOME=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/hiveexportHADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-5.5.1-1.cdh5.5.1.p0.11/lib/sqoop/lib/ojdbc7.
我已经使用默认用户模式和单用户模式设置了两个clouderahadoop集群，但我不知道在生产中使用哪种方法才是正确的。 最佳答案 在传统的ClouderaManager部署中，管理每个主机上的Hadoop进程的ClouderaManagerAgent作为根用户运行。但是，某些环境限制对根帐户的访问。在单用户模式下，ClouderaManagerAgent和由ClouderaManager管理的服务运行的所有进程都作为单个配置的用户和组启动。单用户模式优先考虑Hadoop与系统其余部分之间的隔离，而不是系统上运行的Hadoop进程之
我安装了Cloudera并想使用Hive，但它不起作用。你能解释一下我是否需要为正常工作配置单元安装相同的数据库(Oracle或MySQL)，还是没有必要？ 最佳答案 默认情况下，Derby数据库一次只能支持一个Activity用户。因此出于学习目的，您不需要MySQL/Oracle。如果您需要探索更多选项，请阅读~~>ConfiguringtheHiveMetastoreClouderarecommendsusingthismodeforexperimentalpurposesonly.Thisisthedefaultmetast
我有一个pig脚本，每次从Oozie运行时它都会内存不足。错误:Pig日志文件转储:Pig堆栈跟踪错误2998:未处理的内部错误。Java堆空间java.lang.OutOfMemoryError:Javaheapspaceatjava.lang.StringCoding$StringEncoder.encode(StringCoding.java:300)atjava.lang.StringCoding.encode(StringCoding.java:344)atjava.lang.StringCoding.encode(StringCoding.java:387)atjava.l
我对这一切还很陌生，因为我才上第二个学期，我只需要帮助来理解我需要执行的命令。我正在尝试使用终端将本地csv文件加载到cloudera上的hdfs。我必须使用这些数据并与Pig一起完成一项任务。我已经尝试了所有方法，但它仍然给我'nosuchfileordirectory'。我关闭了安全模式，检查了目录，甚至确保可以读取文件。以下是我尝试加载数据的命令:hadoopfs-copyFromLocal2008.csvhdfsdfs-copyFromLocal2008.csvhdfsdfs-copyFromLocal2008.csv/user/roothdfsdfs-copyFromLoca
我正在准备CLOUDERA认证，有时很难记住Sqoop导入过程中使用的压缩编解码器。例如:org.apache.hadoop.io.compress.SnappyCodec.考试期间不允许我使用谷歌。在考试的时候，有没有办法检索这些信息？目前我使用的是ClouderaQuickstartVM，在Mapred-site.xml中没有找到这个信息。我在哪里可以找到相同的？ 最佳答案 我相当确定您可以访问Cloudera文档https://www.cloudera.com/documentation/enterprise/5-14-x/t
我正尝试按照这些教程在AWS上安装apache-spot和Cloudera:http://blog.cloudera.com/blog/2018/02/apache-spot-incubating-and-cloudera-on-aws-in-60-minutes/https://www.cloudera.com/documentation/director/latest/topics/director_get_started_aws_install_dir_server.html#concept_xnb_cwh_jx但是当我运行时:sudoapt-getinstallcloudera
我正在运行cloudera安装命令./cloudera-manager-installer.bin接受oracle许可证后，我收到以下错误oracle-j2sdk1.7installationfailed.See/var/log/cloudera-manager-installer/1.install-oracle-j2sdk1.7.logfordetails.ClickOKtorevertthisinstallation.当我登录文件1.install-oracle-j2sdk1.7.log时通过使用cd/var/log/cloudera-manager-installer/进入文件
我在Cloudera生态系统中工作，作为初学者，我从实现flumetwitter示例开始并成功完成。现在，每当我想从Twitter流式传输不同关键字的数据时，我必须进入Twitter的配置文件并对其进行编辑，然后使用终端执行flume代理。我正在考虑一种方法，让用户打开一个表单并在其中输入关键字，然后执行flume代理从Twitter获取数据，而不是每次都去Twitter配置文件。为此，我想知道Cloudera生态系统中是否有任何工具可以实现我上面讨论的想法？ 最佳答案 据我所知，ClouderaManager是唯一允许Flume代
目前我们的项目在MR上，我们使用Oozie来编排我们的MR作业。现在我们正在转向Spark，并且想知道在CDH集群上调度/触发Spark作业的推荐方法。请注意，CDHOozie不支持Spark2作业。所以请为此提供一个替代方案。 最佳答案 我上次查看时，Hue在Worlflow编辑器中有一个Spark选项。如果Cloudera不支持它，我不确定它为什么会在那里......虽然CDHOozie确实支持纯shell脚本，但您需要确保所有NodeManager都将在本地服务器上提供可用的spark-submit命令。如果这不起作用，它还支
