草庐IT

db_manager

全部标签

hadoop - hive-site.xml 中的 hive.cli.print.current.db 停止工作

我曾经在$HIVE_HOME/conf/hive-site.xml中将hive.cli.print.current.db设置为true,以便在配置单元提示符中自动显示数据库名称。此配置最近停止工作,因此每次启动配置单元时我都必须手动设置它的值。有没有人遇到过同样的问题,你的解决方案是什么?谢谢! 最佳答案 此属性应在配置单元配置目录(/etc/hive/conf)的.hiverc文件中指定(而不是在hive-site.xml中)。创建文件/.hiverc如果不存在以下内容sethive.cli.print.current.db=tr

linux - 为什么 Cloudera Manager 报告磁盘已满?

ClouderaManager报告我的Hadoop集群的某些节点上的磁盘已满,但是使用df-h手动检查可用空间时,每个磁盘几乎都是半空的。这是一个错误还是我需要发出一些其他命令来检查实际可用空间?ClouderaManager在进行健康检查时使用什么命令? 最佳答案 我解决了这个问题。属性dfs.datanode.du.reserved设置为100GB,因此Hadoop无法使用该空间量(对于每个卷)来存储新的HDFSblock。 关于linux-为什么ClouderaManager报告磁

hadoop - 如何自动配置 Cloudera Manager?

我已经创建了一些脚本,使我能够自动执行绝大多数CDH5和ClouderaManagerv5的安装。问题是每次启动集群时,我都必须通过GUI向导配置cloudera管理器。如何配置cloudera管理器以避免GUI设置向导? 最佳答案 ClouderaManager具有完整的RESTAPI,允许您以编程方式执行任何可以通过UI执行的操作。API详细信息在这里:http://cloudera.github.io/cm_api/ 关于hadoop-如何自动配置ClouderaManager?,

hadoop - ubuntu 14.04/64b 安装cloudera manager

我正在我的系统(14.04/64b)中安装ClouderaManager。在最后一步安装时,在完成安装之前我在验证中遇到了一些错误,如下所示,上面页面的错误是,错误1个别主机正确解析了自己的主机名。主机localhost应具有名称localhost但将(InetAddress.getLocalHost().getHostName())本身解析为arul-pc。错误2检查/etc/hosts时发现以下错误...主机名localhost不是地址127.0.0.1的第一个匹配项在本地主机上的/etc/hosts中。相反,arul-pc是第一个匹配项。这FQDN必须是相应IP的/etc/hos

database - sqoop 从 db2 特定模式导入所有到配置单元

我尝试使用以下命令行从DB2中的特定模式导入所有表。sqoopimport-all-tables--usernameuser--passwordpass\--connectjdbc:db2://myip:50000/databs:CurrentSchema=testdb\--drivercom.ibm.db2.jcc.DB2Driver--fields-terminated-by','\--lines-terminated-by'\n'--hive-databasedefault--hive-import--hive-overwrite\--create-hive-table-m1;遇

mysql - 配置单元 : why is metastore_db created in my project folder?

我把hive-site.xml在我的spark/confdir并将其配置为连接到thrift://:9083而且我没有使用derby我有mysql-connector-jar在hive/lib文件夹中,每次我创建hive表和存储数据时,所有数据都存储在metastore_db中在我的项目目录中,而不是在我的hdfs://:9000/user/hive/warehouse中,所以如果我删除metastore_db数据就会丢失。conf/hive-site.xmljavax.jdo.option.ConnectionURLjdbc:mysql://saurab:3306/metastore

hadoop - 安装cloudera manager后无法执行任何hadoop命令

我已经成功地设置了我的cdh集群(5.14.0),其中包括4个节点,并安装了包括hdfs、yarn、zookeeper和impala在内的服务。cloudera管理器网页工作正常。但是当我打开一个终端并尝试运行任何hadoop命令时,比如hadoop、impala或任何东西,shell提示“找不到命令”。我使用hadoop用户安装了CM,并使用默认用户cloudera-scm在singer用户模式下运行所有​​服务。我知道CM应该为我设置环境变量,但似乎没有。非常感谢您的帮助! 最佳答案 确保从cloudera管理器服务器下载CDH

hadoop - Apache Drill - 不在 Hive DB 中列出表

我已经创建了必要的存储插件,并且在发出showdatabase命令时会显示hive中的相关数据库。当使用use命令使用其中一个配置单元数据库时,我发现我无法选择该数据库中的任何表。进一步看,当发出showtable命令时,该数据库中的任何表都不会通过ApacheDrill显示出来,而它们在Hive中看起来很好。在通过Hive向任何用户授予权限方面,我是否遗漏了什么?ApacheDrill究竟是如何连接到Hive以运行相关作业的?感谢您的回复。 最佳答案 Showtables;目前不会列出Hive表。最好在配置单元表之上创建View。

hadoop - 选择用于快速网络分析的 DB、OLAP 解决方案(大数据阵列)

我遇到以下问题:我的系统每天从不同站点收集约3亿次点击。每个都有时间、用户ID、类型(广告或常规)、http地址、站点ID。还有一组用户~200M,其中有性别、年龄段和国家。需要设计一个基于点击数据的系统,可以实时报告不同用户组的点击情况。像OLAP解决方案:-)例如,绘制2011年10月至9月英国15-25岁女孩的点击率图表。您建议选择哪个数据库,以及构建OLAP多维数据集的解决方案?我正在寻找开源解决方案,例如HBase(+zohmg或级联)Hypertable或其他(免费DWH:-))。 最佳答案 这是海量数据,每天300Mi

hadoop - Cloudera Manager 安装程序 3.7 尝试安装 Cloudera manager server 4.5

我正在尝试使用ClouderaManager3.7.x在具有RHEL5.5的集群上安装CDH3U5。但是由于以下错误,安装失败-ErrorDownloadingPackages:cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64:failure:RPMS/x86_64/cloudera-manager-daemons-4.5.1-1.cm451.p0.294.x86_64.rpmfromcloudera-manager:[Errno256]Nomoremirrorstotry.日志View显示-===================