CDH5-Installation-Guide
全部标签CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf----#Filemodifiedbyipa-client-installincludedir/etc/krb5.conf.d/includedir/var/lib/sss/pubconf/krb5.i
CDH6.3.2集成Freeipa的kerberos标签（空格分隔）：大数据运维专栏一：系统环境二：CDH6.3.2集成freeipa的Kerberos一：系统环境1.2系统配置要求大数据的所有主机注入到FreeIPA当中cdh最低版本为CDH6.3.2版本二：CDH6.3.2集成freeipa的Kerberos2.1修改Kerberos的krb5.conf文件vim/etc/krb5.conf----#Filemodifiedbyipa-client-installincludedir/etc/krb5.conf.d/includedir/var/lib/sss/pubconf/krb5.i
cm-hdfs:ufile:还需添加jar包 S3:是自带jar包 OSS:CDH6.3.0不需要下载包,CDH5需要core-site.xml的群集范围高级配置代码段（安全阀） fs.oss.endpointoss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss.accessKeyId fs.oss.accessKeySecret fs.oss.implorg.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemfs.oss.buffer.dir/tmp/ossfs.oss.connection.s
cm-hdfs:ufile:还需添加jar包 S3:是自带jar包 OSS:CDH6.3.0不需要下载包,CDH5需要core-site.xml的群集范围高级配置代码段（安全阀） fs.oss.endpointoss-eu-west-1.aliyuncs.com #oss的外网地址fs.oss.accessKeyId fs.oss.accessKeySecret fs.oss.implorg.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystemfs.oss.buffer.dir/tmp/ossfs.oss.connection.s
CDH集群使用JindoFSSDK访问OSSCDH（Cloudera'sDistribution,includingApacheHadoop）是众多Hadoop发行版本中的一种，本文以CDH5.16.2为例介绍如何配置CDH支持使用JindoFSSDK访问OSS。步骤1.安装jar包下载最新的jar包jindofs-sdk-x.x.x.jar(下载页面)，将sdk包安装到hadoop的classpath下。cp./jindofs-sdk-*.jar/opt/cloudera/parcels/CDH/lib/hadoop/lib/jindofs-sdk.jar2.配置JindoFSOSS实现类通
CDH集群使用JindoFSSDK访问OSSCDH（Cloudera'sDistribution,includingApacheHadoop）是众多Hadoop发行版本中的一种，本文以CDH5.16.2为例介绍如何配置CDH支持使用JindoFSSDK访问OSS。步骤1.安装jar包下载最新的jar包jindofs-sdk-x.x.x.jar(下载页面)，将sdk包安装到hadoop的classpath下。cp./jindofs-sdk-*.jar/opt/cloudera/parcels/CDH/lib/hadoop/lib/jindofs-sdk.jar2.配置JindoFSOSS实现类通
distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间，bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}
distributecachepurge阻塞task的bug测试。cdh4.2.0:测试方法：local.cache.size=650因为cachedirsize和count是存在内存中的HashMap中的，把local.cache.size值设置的足够小，在每次job运行时都会触发deletedistributecache的操作。又因为是private的，是同步删除，会造成task阻塞。使用dd来构造1M个的小文件至某一个cachedir目录。观察阻塞时间，bug可以重现。#!/bin/bashdir=`foriin{1..11};dofind/home/xxx/hard_disk/${i}
