Flinkonk8s部署日志详解及与Yarn部署时的日志生成模式对比最近需要将flink由原先部署到Yarn集群切换到kubernetes集群，在切换之后需要熟悉flinkonk8s的运行模式。在使用过程中针对日志模块发现，在k8s的容器中，flink的系统日志只有jobmanager.log/taskmanager.log两个，而当时在使用Yarn集群部署时，flink的日志会有多个，比如:jobmanager.log、jobmanager.err和jobmanager.out，TaskManager同理。因此，有同事就提出为什么在k8s中部署时，只有.log一个文件，能不能类似Yarn部署
1、mac如果没安装过homeBrew先运行这个命令/usr/bin/ruby-e"$(curl-fsSLhttp://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"安装完关闭窗口重新打开检查版本yarn--version检查是否安装成功2、安装过homeBrew的可以直接通过homeBrew安装/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"npminstall--globalyarnyarn--ver
npm、Yarn、pnpm、cnpm、nrm、nvm、的区别npm：node的自带的包管理工具yarn：yarn是facebook发布的一款取代npm的包管理工具pnpm：performantnpm（高性能的npm），同npm和Yarn，都属于Javascript包管理安装工具，它较npm和Yarn在性能上得到很大提升，被称为快速的，节省磁盘空间的包管理工具cnpm是个中国版的npm，是淘宝定制的cnpm(gzip压缩支持)命令行工具代替默认的npmnvm：node的版本管理管理器，可以方便地安装&切换不同版本的nodenrm是一个npm源管理器，允许你快速地在npm源间切换npm全局命令参数
安装完node,cmd能运行npm,但是PowerShell无法运行npmget-executionpolicyset-executionpolicyremotesigned查看安装了哪些npmlist--depath=0-gnvm作用进行nodejs版本控制下载https://github.com/coreybutler/nvm-windows/releases安装nvm-noinstall.zip：这个是绿色免安装版本，但是使用之前需要配置nvm-setup.zip：这是一个安装包，下载之后点击安装，无需配置就可以使用，方便。Sourcecode(zip)：zip压缩的源码Sourccod
在FlinkonYARN中，flink-conf.yaml是Flink配置文件，用于配置Flink应用程序在YARN上的运行。通过修改flink-conf.yaml文件中的参数，你可以调整Flink集群的行为和性能。以下是一些常见的在flink-conf.yaml中设置的参数：yarn.application.name:指定Flink应用程序在YARN上的名称。yarn.application.priority:指定Flink应用程序在YARN调度中的优先级。yarn.queue:指定Flink应用程序提交到YARN的队列名称。yarn.heap-cutoff-min:如果FlinkTaskM
Deploymenttookmorethan60seconds.PleasecheckiftherequestedresourcesareavailableintheYARNcluster这个报错很明显，告诉你yarn集群的资源不足了，需要手动加大资源加大后重启YARNclusterTimeoutException:Timeouthasoccurredyarn资源不足的问题①调整yarnyarn-site.xmlproperty>name>yarn.nodemanager.resource.memory-mbname>value>26624value>property>②调整分配给job的内存
分析进入logs文件夹，查看日志cathadoop-chuan-resourcemanager-hadoop103.log发现错误：Causedby:java.lang.reflect.InaccessibleObjectException:Unabletomakeprotectedfinaljava.lang.Classjava.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain)throwsjava.lang.ClassFormatErroraccessibl
由于jenkins默认存放数据的目录是/var/lib/jenkins，一般这个var目录的磁盘空间很小的，就几十G,所以需要修改jenkins的默认工作空间workspace看到最后环境jenkins使用yum安装的centos7正题1查看jenkins安装路径[root@localhostjenkins_old_data]#rpm-qljenkins/etc/init.d/jenkins/etc/logrotate.d/jenkins/etc/sysconfig/jenkins/usr/lib/jenkins/usr/lib/jenkins/jenkins.war/usr/sbin/rcj
前言上文提到yarn类似一个分布式操作系统，那么我们就可以自定义写一些应用在这个操作系统上运行当然也不能太过随意写，我们要运行在操作系统上就必然要遵守操作系统本身的规矩YarnYarn体系中，用户的主程序被称作ApplicationMaster，当然我们可以在ApplicationMaster中继续向RM申请资源来执行子程序，比如MapReduce中的MapTask和ReduceTask都属于子程序。这就好比我们平时写java，在main方法主线程中可以创建子线程跑一些逻辑linux/windows中，我们创建java子线程不需要关心这个线程任务到底由哪个cpu完成，任务交给操作系统来调度同理
Flink使用介绍相关文档目录Flink使用介绍相关文档目录作业提交方式参考链接：YARN|ApacheFlinkFlink作业提交的方式分为application模式，per-job模式和session模式。per-job模式在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。如果附带--detached参数，提交的作业被accept的时候，客户端会停止运行（命令行不用一直开着，生产环境必须。开发测试时可不带--detached参数，通过命令行查看运行日志）。实际生产中推荐使用此模式
