草庐IT

yarn的常用命令

全部标签

Git常用命令(满足99%的工作需求)

1. 初始化本地仓库gitinit如果没有directory,则为当前目录。gitinit是建立一个标准的Git仓库,这样的仓库初始化后,其项目目录为工作空间,其下的.git目录是版本控制器。可以正常的进行源文件的编写,提交等各种git常规操作。如gitinitrepo.git使用于本地进行项目部署和搭建2. 初始化裸仓库gitinit--baregitinit--barerepo.git用于服务器创建共享仓库,多版本协同管理3.克隆一个远程仓库gitclone比如:gitclone https://github.com/spring-projects/spring-boot是在当前目录创建一

Flink 使用之 on yarn 作业提交

Flink使用介绍相关文档目录Flink使用介绍相关文档目录作业提交方式参考链接:YARN|ApacheFlinkFlink作业提交的方式分为application模式,per-job模式和session模式。per-job模式在Yarn创建一个Flink集群,然后在提交任务客户端所在机器本地运行作业jar的main方法,提交生成的JobGraph到Flink集群的JobManager。如果附带--detached参数,提交的作业被accept的时候,客户端会停止运行(命令行不用一直开着,生产环境必须。开发测试时可不带--detached参数,通过命令行查看运行日志)。实际生产中推荐使用此模式

给你来一份Kubernetes常用命令备忘录

本文主要整理了Kubernetes常用命令,给朋友们一个备忘录。查看K8S的帮助命令kubectl--help切换被操作的集群默认情况下会在.kube目录下的config文件里的证书去操作K8S集群。如果碰到需要切换访问别的K8S集群的场景,可以使用kubectl--kubeconfigxxxxxx去指定某个证书文件,比如:kubectl--kubeconfig(xxxx.json|xxxxconfig)getnode创建资源对象kubectlapply-fxxx.yaml查找资源对象#查到nodekubectlgetnode#查到namespacekubectlgetns#查找service

Jenkins常用命令(Linux篇)

查看jenkins是否运行:systemctlstatusjenkins.service查看运行日志:journalctl-xe启动命令:systemctlstartjenkins查看状态:systemctlstatusjenkins修改文件后重新加载:systemctldaemon-reload修改端口号:vim/etc/init.d/jenkins–httpPort=8091vim/usr/lib/systemd/system/jenkins.serviceEnvironment=“JENKINS_PORT=8091”查看某个应用所在目录:find/-name应用名(find/-namen

Flink On Yarn的实践

前期介绍到,我们项目初期Flink部署使用的是standalone模式。但是此模式缺点很多:1、资源利用率低taskmanager、slot实现都是规划创建好。如果不用资源也一直占用着。2、无法做到资源隔离只是简单的对内存资源进行简单划分3、job调度优先级无法保证我们本打算采用Flinkonk8s的方案,但是考虑到k8s虚拟了一层网络,性能肯定有损耗。而且对运维团队要求非常高。最终,我们采用社区比较成熟的方案flinkonyarn。成熟是别人的成熟,坑还是我们自己的坑。根据自己的理解,画了个简单的图:session模式下,需要预先执行创建session的命令,具体如下:/data/flink

给你来一份Kubernetes常用命令备忘录

本文主要整理了Kubernetes常用命令,给朋友们一个备忘录。查看K8S的帮助命令kubectl--help切换被操作的集群默认情况下会在.kube目录下的config文件里的证书去操作K8S集群。如果碰到需要切换访问别的K8S集群的场景,可以使用kubectl--kubeconfigxxxxxx去指定某个证书文件,比如:kubectl--kubeconfig(xxxx.json|xxxxconfig)getnode创建资源对象kubectlapply-fxxx.yaml查找资源对象#查到nodekubectlgetnode#查到namespacekubectlgetns#查找service

报错:在从 Git 上拉取代码后,使用 npm install 安装依赖失败,但使用 yarn 可以成功安装,这是为什么

在从Git上拉取代码后,使用npminstall安装依赖失败,但使用yarn可以成功安装的原因可能有多种,以下是一些常见原因:安装的依赖库版本不兼容。有时候,package.json文件中的依赖库版本与本地或全局的Node.js环境不兼容,或与已安装的其他依赖库的版本不兼容,在使用npminstall安装时就可能会出现失败的情况。而yarn可以根据yarn.lock文件的内容快速地解析出应该安装的依赖库版本,从而避免了依赖库版本不兼容的问题。依赖库下载速度较慢。npminstall在下载依赖库时,可能会受到网络连接的影响而导致下载速度较慢,甚至失败。而yarn可以使用多线程下载和离线缓存的功能

【hadoop运维】running beyond physical memory limits:正确配置yarn中的mapreduce内存

文章目录一.问题描述二.问题分析与解决1.container内存监控1.1.虚拟内存判断1.2.物理内存判断2.正确配置mapReduce内存2.1.配置map和reduce进程的物理内存:2.2.Map和Reduce进程的JVM堆大小3.小结一.问题描述在hadoop3.0.3集群上执行hive3.1.2的任务,任务提交时报如下错误:Applicationapplication_1409135750325_48141failed2timesduetoAMContainerforappattempt_1409135750325_48141_000002exitedwithexitCode:14

pip常用命令

1.升级pippip install --upgrade pip 或者 pip install -U pip2.安装某个包pip install package-name安装指定版本的包:pip install matplotlib==3.4.13.卸载或者是更新包卸载包:pip uninstall package_name更新包:pip install --upgrade package_name或者 pip install -U package_name4.查看某个包的信息pip show -f requests5.查看需要被升级的包pip list -o6.查看兼容问题指定包:pip c

android adb常用命令

一.adb常用命令adbversion--查看adb版本adbdevices–用来查看当前连接的设备,已连接的设备会显示出来adbconnectip地址–用来连接设备adbdisconnectip地址--断开设备adbkill-server/start-server–终止adb服务/启动adb服务logcat--查看日志adblogcat-vtime*:W|greppid>/data/data/log.txtadbpull/data/data/log.txtd:/log/adbshell"logcat-vtime*:W|greppid">d:/log/log.txtadblogcat-c日志的