草庐IT

folder-security

全部标签

security - 连接到安全的 hbase 集群时如何启用 kerberos 身份验证

有没有人在使用phoenix连接到安全hbase集群时看到以下消息:15/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationforserviceMasterService,sasl=false15/08/2523:04:49DEBUGipc.AbstractRpcClient:Connectingtonnn-hdp-sa-********/10.99.40.213:6000015/08/2523:04:49DEBUGipc.AbstractRpcClient:UseSIMPLEauthenticationfor

Hadoop HDFS : input/output error when creating user folder

我已按照Hadoopthedefinitiveguide,4thedition:AppendixA中的说明进行操作在伪分布式模式下配置Hadoop。一切正常,除了我尝试创建目录时:hadoopfs-mkdir-p/user/$USER命令返回以下消息:mkdir:/user/my_user_name':Input/outputerror。虽然,当我第一次登录到我的根帐户sudo-s然后键入hadoopfs-mkdir-p/user/$USER命令时,目录'user/root'被创建(路径中的所有目录)。我想我遇到了Hadoop权限问题。任何帮助将不胜感激,谢谢。

hadoop - Sqoop 导入错误 : org. apache.hadoop.security.AccessControlException: Permission denied by sticky bit

我在Rhel7远程服务器中有一个单节点ClouderaCluster(CDH5.16)。我已经使用软件包安装了CDH。当我运行sqoop导入作业时,出现以下错误:Warning:/usr/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.19/06/0415:49:31INFOsqoop.Sqoop:RunningSqoopversion:1.4.6-cdh5.16.119/06/0415:49:31WA

security - Java keystore PrivateKeyEntry 与 trustedCertEntry

我正在更新我的Hadoop集群使用的证书。当前的JKS有一个条目:Yourkeystorecontains1entryAliasname:myaliasCreationdate:Jan10,2019Entrytype:PrivateKeyEntryCertificatechainlength:1我正在尝试从新证书创建一个新的keystore:keytool-importcert-aliasmyalias-filenewcertfile.crt-keystorenewkeystore.jks但是有人问我是否信任这个证书(如果我说不,keytool退出):Trustthiscertific

security - HDFS 数据节点不是以 kerberos 开头

在Windows8中使用kerberos配置HDFS。Namenode成功登录并启动。Datanode未启动但登录成功。异常14/12/1017:51:55WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable14/12/1017:52:00INFOsecurity.UserGroupInformation:Loginsuccessfulforuserkumar@KUMAR.COMusingkeytabfileC

java - org.apache.hadoop.security.AccessControlException : Permission denied when trying to access S3 bucket through s3n URI using Hadoop Java APIs on EC2

场景我创建了一个名为“my-role”的AWSIAM角色,将EC2指定为可信实体,即使用信任关系策略文档:{"Version":"2012-10-17","Statement":[{"Sid":"","Effect":"Allow","Principal":{"Service":"ec2.amazonaws.com"},"Action":"sts:AssumeRole"}]}该角色具有以下策略:{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:AbortMultipartUpload","s3:De

mysql - 错误代码 : 1290. MySQL 服务器正在使用 --secure-file-priv 选项运行,因此无法执行此语句

我遇到了这样的问题:错误代码:1290。MySQL服务器正在运行--secure-file-priv选项,因此无法执行此语句当我尝试执行MySQL语句时(Windows):SELECT*FROMxxxxWHEREXXXINTOOUTFILE'report.csv'FIELDSTERMINATEDBY'#'ENCLOSEDBY'"'LINESTERMINATEDBY'\n'当我没有执行它时:INTOOUTFILE'report.csv'FIELDSTERMINATEDBY'#'ENCLOSEDBY'"'LINESTERMINATEDBY'\n'然后就可以了。此外,在我重新安装MySQL服

mysql - 错误代码 : 1290. MySQL 服务器正在使用 --secure-file-priv 选项运行,因此无法执行此语句

我遇到了这样的问题:错误代码:1290。MySQL服务器正在运行--secure-file-priv选项,因此无法执行此语句当我尝试执行MySQL语句时(Windows):SELECT*FROMxxxxWHEREXXXINTOOUTFILE'report.csv'FIELDSTERMINATEDBY'#'ENCLOSEDBY'"'LINESTERMINATEDBY'\n'当我没有执行它时:INTOOUTFILE'report.csv'FIELDSTERMINATEDBY'#'ENCLOSEDBY'"'LINESTERMINATEDBY'\n'然后就可以了。此外,在我重新安装MySQL服

hadoop - 停止 hadoop/EMR/AWS 创建带有 _$folder$ 扩展名的 S3 路径

在EMR上运行spark作业,输出直接写入S3。我注意到每个S3目录路径(例如/the/s3/path)都包含一个名为/the/s3/path_$folder$的标志文件。这导致使用spark重新加载数据时出现问题(它是Parquet,spark提示额外的文件等)。我怎样才能阻止AWS/无论它是什么来创建这个标志?它过去也发生在hadoop作业中,所以我不认为它是spark(尽管它使用hadoopFS的东西)。 最佳答案 嗯,是的,我以前也获取过这些文件夹,但是它们不再出现了...我怀疑是因为我对hadoopConfiguratio

amazon-web-services - 避免使用 hadoop (EMR) 在 S3 中创建 _$folder$ 键

我在AWS数据管道中使用EMR事件。此EMR事件正在EMR集群中运行配置单元脚本。它以dynamoDB作为输入并将数据存储在S3中。这是EMR事件中使用的EMR步骤s3://elasticmapreduce/libs/script-runner/script-runner.jar,s3://elasticmapreduce/libs/hive/hive-script,--run-hive-script,--hive-versions,latest,--args,-f,s3://my-s3-bucket/hive/my_hive_script.q,-d,DYNAMODB_INPUT_TA