草庐IT

yarn-daemon

全部标签

cannot connect to the docker daemon at unix ///var/run/docker.sock. Is the docker daemon running?

可以先试试这种方式:https://blog.csdn.net/Ber_Bai/article/details/116044628记录一次服务器问题解决。系统:CentOS问题:服务器重启后,docker的容器挂了,运行命令dockerps,提示:cannotconnecttothedockerdaemonatunix///var/run/docker.sock.Isthedockerdaemonrunning?先说解决方案:启动dockerdaemon:执行命令dockerd记录下排查问题的过程:执行systemctlrestartdocker重启服务,命令行卡住不动执行systemctls

Hadoop 之 集群安装(HDFS、YARN)

简介:Hadoop集群包括两个集群:HDFS集群和YARN集群。两个集群逻辑上分离、通常物理上在一起。一:相关文档Hadoop安装包下载地址:Indexof/dist/hadoop/common安装使用VMware创建三台虚拟机。三台虚拟机做好免密登录。(参考文档:SSH设置免密登录(centos7)_ssh-keygen-tdsa-p''-f~/.ssh/id_dsa_潮听哥的博客-CSDN博客)修改三台主机hostname(参考文档:修改主机hostname,推荐第二种_修改hostname_有欲无求的博客-CSDN博客)。安装jdk。(参考文档:centos7安装jdk详细教程_cent

Hadoop 之 集群安装(HDFS、YARN)

简介:Hadoop集群包括两个集群:HDFS集群和YARN集群。两个集群逻辑上分离、通常物理上在一起。一:相关文档Hadoop安装包下载地址:Indexof/dist/hadoop/common安装使用VMware创建三台虚拟机。三台虚拟机做好免密登录。(参考文档:SSH设置免密登录(centos7)_ssh-keygen-tdsa-p''-f~/.ssh/id_dsa_潮听哥的博客-CSDN博客)修改三台主机hostname(参考文档:修改主机hostname,推荐第二种_修改hostname_有欲无求的博客-CSDN博客)。安装jdk。(参考文档:centos7安装jdk详细教程_cent

Spark系列之SparkSubmit提交任务到YARN

title:Spark系列第十三章SparkSubmit提交任务到YARN13.1SparkSubmit提交的一些参数解释local本地单线程local[K]本地多线程(指定K个内核)local[*]本地多线程(指定所有可用内核)spark://HOST:PORT连接到指定的Sparkstandaloneclustermaster,需要指定端口。mesos://HOST:PORT连接到指定的Mesos集群,需要指定端口。yarn-client客户端模式连接到YARN集群。需要配置HADOOP_CONF_DIR。yarn-cluster集群模式连接到YARN集群。需要配置HADOOP_CONF_

Spark系列之SparkSubmit提交任务到YARN

title:Spark系列第十三章SparkSubmit提交任务到YARN13.1SparkSubmit提交的一些参数解释local本地单线程local[K]本地多线程(指定K个内核)local[*]本地多线程(指定所有可用内核)spark://HOST:PORT连接到指定的Sparkstandaloneclustermaster,需要指定端口。mesos://HOST:PORT连接到指定的Mesos集群,需要指定端口。yarn-client客户端模式连接到YARN集群。需要配置HADOOP_CONF_DIR。yarn-cluster集群模式连接到YARN集群。需要配置HADOOP_CONF_

解决Error response from daemon: Get “https://registry-1.docker.io/v2/“: read: connection refused问题

在用docker容器下载rabbitmq时出现报错如下Errorresponsefromdaemon:Get“https://registry-1.docker.io/v2/”:dialtcp:lookupregistry-1.docker.ioon[::1]:53:readudp[::1]:50086->[::1]:53:read:connectionrefused因为之前用docker下载过redis,mysql,nginx都没出现过问题,这次下载消息队列中间件却出现问题当我pingIP地址的时候可以ping通,但是ping域名却不可以。上网搜了好多答案,大多说是由于dns服务器没有配置导

解决Error response from daemon: Get “https://registry-1.docker.io/v2/“: read: connection refused问题

在用docker容器下载rabbitmq时出现报错如下Errorresponsefromdaemon:Get“https://registry-1.docker.io/v2/”:dialtcp:lookupregistry-1.docker.ioon[::1]:53:readudp[::1]:50086->[::1]:53:read:connectionrefused因为之前用docker下载过redis,mysql,nginx都没出现过问题,这次下载消息队列中间件却出现问题当我pingIP地址的时候可以ping通,但是ping域名却不可以。上网搜了好多答案,大多说是由于dns服务器没有配置导

【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

目录Grafana简介下载软件包安装部署修改配置文件创建用户创建Systemd服务启动GrafanaSpark应用监控Graphite_exporterHDFS监控YARN监控HBase监控Grafana简介Grafana是一款开源的数据可视化工具,使用Grafana可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。下载软件包wgethttps://dl.grafana.com/enterprise/release/grafana-enterprise-9.1.6.linux-amd64.tar.gz安装部署解压tar-xvzfgrafana-enterprise-9

【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

目录Grafana简介下载软件包安装部署修改配置文件创建用户创建Systemd服务启动GrafanaSpark应用监控Graphite_exporterHDFS监控YARN监控HBase监控Grafana简介Grafana是一款开源的数据可视化工具,使用Grafana可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。下载软件包wgethttps://dl.grafana.com/enterprise/release/grafana-enterprise-9.1.6.linux-amd64.tar.gz安装部署解压tar-xvzfgrafana-enterprise-9

ubuntu下docker: Error response from daemon: could not select device driver with capabilities: [[gpu]]

前言第一次遇到这个问题时,是运行这个命令,报如下错误,运行:sudodockerrun--rm--gpus=allnvidia/cuda:10.0-base报错:docker:Errorresponsefromdaemon:couldnotselectdevicedriver""withcapabilities:[[gpu]].然后我参考这篇文章docker:Errorresponsefromdaemon:couldnotselectdevicedriver““withcapabilities:[[gpu]]问题解决_"docker:errorresponsefromdaemon:couldn