草庐IT

master-data-management

全部标签

java - Spring Data Rest 和 Cors

我正在开发一个带有Rest接口(interface)和dart前端的SpringBoot应用程序。XMLHttpRequest确实执行了一个处理完全正确的OPTIONS请求。在此之后,发出最终的GET("/products")请求并失败:请求的资源上不存在“Access-Control-Allow-Origin”header。产地'http://localhost:63343'因此不允许访问。经过一些调试,我发现以下内容:AbstractHandlerMapping.corsConfiguration为除RepositoryRestHandlerMapping之外的所有子类填充。在Re

hadoop - Cloudera Manager 安装失败

我正在尝试使用ClouderaManager5在EC2上创建一个用于测试目的的小型集群。这些是我遵循的方向,http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.7.1/Cloudera-Manager-Installation-Guide/cmig_install_on_EC2.html.它正在执行“在服务spark上执行命令SparkUploadJarServiceCommand”,但它失败了。错误是“在spark_master上上传SparkJar失败”。出了什么问题,我该如何解决?感谢您的

ubuntu - 我应该把 Cloudera Manager Server 放在哪里

我有一个由4个ubuntu12.04LTS组成的集群,准备利用ClouderaManager(带有CDH5)安装Hadoop。但是我对ClouderaManagerServer放在哪里感到困惑。是否要添加一台新的ubuntu机器来托管ClouderaManagerServer,然后让它管理由1主3从组成的Hadoop集群?或者我应该将ClouderaManagerServer与Hadoopmaster放在一起吗?因此Hadoopmaster和ClouderaManagerServer在一台(虚拟)机器上。这个问题可能会重复here.但是看了之后还是一头雾水。期待任何专业知识。

csv - 远程机器上的 Hadoop/Hive : Loading data from . csv

我有一个来自httpurl的csv文件。有什么办法可以从那里加载它:-这就是我想要的LOADDATAINPATH'http://192.168.56.101:8081/TeamHalf.csv'OVERWRITEINTOTABLEcsvdata; 最佳答案 HiveLoad命令如下:LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]1)如果指定了LOCAL-从本地FS文件路径加载

hadoop - 区域服务器无法联系 HBase Master

我有一个由3个slave和1个master组成的Hadoop集群,上面有一个分别有3个RS和1个master的HBase集群。此外,在3台机器上还有一个Zookeeper集成。Hadoop集群以及Zookeeper整体正常运行。但是,HBase集群未能正确初始化。我通过运行./bin/start-hbase.sh启动HBase。这正确启动了HBaseMaster和区域服务器。hdfs中的hbase文件夹已正确设置。jpsonmasterhduser@master:~/hbase$jps5694HMaster3934JobHistoryServer3786NameNode3873Reso

hadoop - 在 ubuntu 12.04 LTS 中使用 cloudera manager 安装 Cloudera CDH5

我正在尝试在Ubuntu12.04LTS(64位)中使用ClouderaManager安装CDH5。我正在按照Clouderalink中提到的步骤进行操作.我无法为安装CDH5指定正确的主机名。除了/etc/hosts文件中的127.0.0.1和127.0.1.1之外,我没有任何其他条目。我正在使用USB加密狗访问互联网,但我现在没有任何以太网连接。请告诉我是否需要以太网连接才能在我的PC中安装CDH5。附言我目前是一名大型机开发人员,没有任何Linux或开源背景。我花了将近40个小时的时间试图在我的机器上安装CDH5,以便我可以进行Udacity'sIntroductiontoHad

来自 Cloudera Manager 的电子邮件警报

我们需要设置一个流程,使我们能够从ClouderaManager接收基于Hadoop指标的电子邮件警报。例如。某项服务出现故障,超过10个数据节点被列入黑名单等。在CM5.1版中实现此目标的最佳方法是什么? 最佳答案 您是否尝试在管理->警报下查看Cloudera管理器?那里有相当多的内置监控和警报配置选项。关于您的示例,在HDFS警报下有一个针对“DataNode健康”的特定设置。 关于来自ClouderaManager的电子邮件警报,我们在StackOverflow上找到一个类似的问

hadoop - Spark : Export graph data to anything (Hive, 文本等)

我有一个以这种方式创建的星图valgraph=Graph(vertices,edges,defaultArticle).cache我的顶点是RDD[(Long,(String,Option[String],List[String],Option[String])]我的边是RDD[Edge[长]]如何将此图形/边/顶点保存到Hive/文本文件/其他任何内容,以及如何读回它?我查看了SparkSQL文档和Spark核心文档,但我仍然没有成功。如果我执行saveAsTextFile(),那么当我读回它时,它是一个RDD[String],这不是我需要的....编辑:Daniel提供了另存为对象

hadoop - pig : how to separate data by positions in a single line

通常,如果我们在一行中有任何分隔符,我们会这样做。load"pigtest.txt"usingPigStorage(',')as(year:int,temp:float);下面是单行数据的示例。0029029070999991901010106004+64333+023450FM12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999我需要提取年份1901(16thpositionto4positions)吨emperature(89thpositionto4po

linux - Cloudera Manager 检查器未在主机上运行

我目前有3台机器,所有bootcampedmac都运行Ubuntu,我正在尝试使用CDH5将它们设置为Hadoop集群。在使用安装程序向导时,当它“检查主机的正确性时,我得到如下所示的错误.检查器在所有主机上都失败了,它说IOExceptionthrownwhilecollectingdatafromhost:Connectionrefused在设置机器时,我在运行cloudera管理器安装程序之前做的唯一一件事就是启用ssh。在主机文件中都有本地主机和我的用户在127.0.0.1关于为什么连接被拒绝或者我可以做些什么来修复它有什么想法吗? 最佳答案