免责声明:我是Hadoop和Hive的新手。我们搭建了一个存储海量数据的MySql集群(7.2.5版本)。行数达到数百万，并根据Mysql的自动分片逻辑进行分区。尽管我们正在利用Cluster7.2的自适应查询本地化(AQL)，但我们的一些查询有多个连接并且会运行几分钟甚至几个小时。在这种情况下，我可以使用Hive和Hadoop一起查询数据库并检索数据吗？它会使查询更快吗？它是否复制其文件系统中的数据？这种方法的优缺点是什么？我的意图是使用Hive作为MySQLCluster之上的一个层，并使用它来读取/写入MySQLClusterDB。我的申请中没有任何交易。那么这真的可能吗？
我正在尝试使用ClouderaManager3.7.x在具有RHEL5.5的集群上安装CDH3U5。但是由于以下错误，安装失败-ErrorDownloadingPackages:cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64:failure:RPMS/x86_64/cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64.rpmfromcloudera-manager:[Errno256]Nomoremirrorstotry.日志View显示-===================
这让我发疯。我已经为此工作了好几天，但似乎无法解决这个问题。我有一个在桉树上运行的私有(private)云用于测试，还有4个运行Ubuntu12.04的虚拟机。我试图让cloudera运行HDFS和map-reduce但是当我尝试启动它时，数据节点似乎永远无法与名称节点通信。它安装良好并通过了所有启动前检查。主机文件全部设置为127.0.0.1本地主机和其他虚拟机的ip和主机名，防火墙全部禁用，安全组设置为允许一切。我可以使用名称节点上的telnet和netstat连接到从数据节点到名称节点的8022端口，如下所示:tcp00172.31.254.119:90000.0.0.0:*听6
我正在尝试使用ClouderaManager5在EC2上创建一个用于测试目的的小型集群。这些是我遵循的方向，http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.7.1/Cloudera-Manager-Installation-Guide/cmig_install_on_EC2.html.它正在执行“在服务spark上执行命令SparkUploadJarServiceCommand”，但它失败了。错误是“在spark_master上上传SparkJar失败”。出了什么问题，我该如何解决？感谢您的
我有一个由4个ubuntu12.04LTS组成的集群，准备利用ClouderaManager(带有CDH5)安装Hadoop。但是我对ClouderaManagerServer放在哪里感到困惑。是否要添加一台新的ubuntu机器来托管ClouderaManagerServer，然后让它管理由1主3从组成的Hadoop集群？或者我应该将ClouderaManagerServer与Hadoopmaster放在一起吗？因此Hadoopmaster和ClouderaManagerServer在一台(虚拟)机器上。这个问题可能会重复here.但是看了之后还是一头雾水。期待任何专业知识。
我正在从Hadoop1.0迁移到支持YARN的集群。在1.0中运行临时作业时，我们过去常常根据作业跟踪器中报告的可用性指定reducer的数量，以加快处理速度。现在，在YARN的“所有应用程序”Web链接中，我们看不到任何此类有关可用性的列/信息。是否有任何配置文件或在网络链接中我们可以获得此信息？ 最佳答案 Yarn中没有更多的插槽。相反，一切都取决于使用/需求的内存量。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任
我正在尝试在Ubuntu12.04LTS(64位)中使用ClouderaManager安装CDH5。我正在按照Clouderalink中提到的步骤进行操作.我无法为安装CDH5指定正确的主机名。除了/etc/hosts文件中的127.0.0.1和127.0.1.1之外，我没有任何其他条目。我正在使用USB加密狗访问互联网，但我现在没有任何以太网连接。请告诉我是否需要以太网连接才能在我的PC中安装CDH5。附言我目前是一名大型机开发人员，没有任何Linux或开源背景。我花了将近40个小时的时间试图在我的机器上安装CDH5，以便我可以进行Udacity'sIntroductiontoHad
我们需要设置一个流程，使我们能够从ClouderaManager接收基于Hadoop指标的电子邮件警报。例如。某项服务出现故障，超过10个数据节点被列入黑名单等。在CM5.1版中实现此目标的最佳方法是什么？ 最佳答案 您是否尝试在管理->警报下查看Cloudera管理器？那里有相当多的内置监控和警报配置选项。关于您的示例，在HDFS警报下有一个针对“DataNode健康”的特定设置。 关于来自ClouderaManager的电子邮件警报，我们在StackOverflow上找到一个类似的问
我正在尝试部署一个集群并在其上运行一些示例Spark/scala代码，虽然当我在独立模式下使用默认参数使用zeppelin时一切正常，但我无法让它在集群模式下工作。我尝试在spark中使用spark-class和start-master标准shell文件手动创建spark集群，然后通过spark://..Zeppelin的URL，但是在运行代码后，我不断收到不同的异常错误(例如缺少javasys.process._库)，一段时间后，sparkworker的状态在SparkMasterUI中变为DEAD我还尝试将yarn-client而不是spark-URL放入zeppelinspark
我正在尝试在非安全模式下将cgroups与YARN2.6.0结合使用。有用如果我使用DefaultContainerExecutor就好了。但是，当我尝试使用LinuxContainerExecutor时出现错误。现在，当我执行-->$yarnnodemanager时，它失败了ExitCodeExceptionexitCode=24:File/home/hduser2/hadoop/hadoop-2.6.0/etc/hadoopmustbeownedbyroot,butisownedby1001atorg.apache.hadoop.util.Shell.runCommand(Shel
