note文章目录note一、Spark的常用启动方式1.1local本地模式1.2Standalone模式1.3SparkonYarn模式二、spark-submit详细参数说明--master--deploy-mode--class--name--jars--packages--exclude-packages--repositories--py-files--files--confPROP=VALUE--properties-file--driver-memory--driver-java-options--driver-library-path--driver-class-path--d

float和double存储的是近似值，因为有精度这一说。在32位编译器或者64位编译器，都是4,8float和double的内存存储浮点数怎么存？1、把小数点左边的整数部分和小数点右边的小数部分分别转成二进制方法1：方法2：比较浮点数的大小，这样写是错误的：因为浮点数存储的是近似值，所以这样比较不准确！！！举个例子：10.65尽头是：乘完只剩下整数部分了。但是上面这样就无限循环起来了！！！但是float和double定义的类型的大小是有限的，不可能去存储这种没完没了的内容，所以只能存储0.65的近似值。所以在浮点数比较的时候，要加上精度的控制！！！2、小数点左边的那个1不用存储，因为大家都一

float和double存储的是近似值，因为有精度这一说。在32位编译器或者64位编译器，都是4,8float和double的内存存储浮点数怎么存？1、把小数点左边的整数部分和小数点右边的小数部分分别转成二进制方法1：方法2：比较浮点数的大小，这样写是错误的：因为浮点数存储的是近似值，所以这样比较不准确！！！举个例子：10.65尽头是：乘完只剩下整数部分了。但是上面这样就无限循环起来了！！！但是float和double定义的类型的大小是有限的，不可能去存储这种没完没了的内容，所以只能存储0.65的近似值。所以在浮点数比较的时候，要加上精度的控制！！！2、小数点左边的那个1不用存储，因为大家都一

CountDownLatch运用CountDownLatch和ExecutorService线程池cachedThreadPool.submit1、CountDownLatch概念CountDownLatch可以使一个获多个线程等待其他线程各自执行完毕后再执行。CountDownLatch定义了一个计数器，和一个阻塞队列，当计数器的值递减为0之前，阻塞队列里面的线程处于挂起状态，当计数器递减到0时会唤醒阻塞队列所有线程，这里的计数器是一个标志，可以表示一个任务一个线程，也可以表示一个倒计时器，CountDownLatch可以解决那些一个或者多个线程在执行之前必须依赖于某些必要的前提业务先执行的

CountDownLatch运用CountDownLatch和ExecutorService线程池cachedThreadPool.submit1、CountDownLatch概念CountDownLatch可以使一个获多个线程等待其他线程各自执行完毕后再执行。CountDownLatch定义了一个计数器，和一个阻塞队列，当计数器的值递减为0之前，阻塞队列里面的线程处于挂起状态，当计数器递减到0时会唤醒阻塞队列所有线程，这里的计数器是一个标志，可以表示一个任务一个线程，也可以表示一个倒计时器，CountDownLatch可以解决那些一个或者多个线程在执行之前必须依赖于某些必要的前提业务先执行的

*以下内容为本人的学习笔记，如需要转载，请声明原文链接微信公众号「ENG八戒」https://mp.weixin.qq.com/s/IwSVImp5cOB3gZbaf0YiPw写过C/C++的都知道，内存允许程序员自主分配，用完了这些资源也得释放出来，这种在系统运行过程中动态申请的内存，称为动态内存。常言道，借东西好借好还，下次再借也不难，但是有的人有时候还真的忘了还回去。这要是发生在程序运行时，申请的内存没正常释放，没管理好，就避免不了会面对内存报错的问题。内存都允许你自由操纵了，灵活性是真的大，恰恰这也是它的弊端。今天就来聊聊C/C++的报错doublefreeorcorruption怎么

*以下内容为本人的学习笔记，如需要转载，请声明原文链接微信公众号「ENG八戒」https://mp.weixin.qq.com/s/IwSVImp5cOB3gZbaf0YiPw写过C/C++的都知道，内存允许程序员自主分配，用完了这些资源也得释放出来，这种在系统运行过程中动态申请的内存，称为动态内存。常言道，借东西好借好还，下次再借也不难，但是有的人有时候还真的忘了还回去。这要是发生在程序运行时，申请的内存没正常释放，没管理好，就避免不了会面对内存报错的问题。内存都允许你自由操纵了，灵活性是真的大，恰恰这也是它的弊端。今天就来聊聊C/C++的报错doublefreeorcorruption怎么

关于PG在Sharedbuffers上的DOUBLEBUFFERING设计，一直是争议极多的。有一些搞PG的朋友认为这是PG充分利用OSCACHE的一种特殊设计，是PG数据库设计中比较优秀的地方。还有一些朋友则认为这是一种过时的设计，与当前数据库技术的发展潮流所相违背的。前些天有几个朋友谈到这个问题，希望我写篇位置表达下我的观点。以我这些年做数据库优化的经验来看，DOUBLEBUFFERING的设计如果算是一种技术上的进步，在这一点上我一直是不太认同的。众所周知，现在几乎所有的现代数据库产品都是用AIO/DIO等方式来访问底层存储系统，只有PG目前还通过BUFFER/CACHE来读取物理文件。

关于PG在Sharedbuffers上的DOUBLEBUFFERING设计，一直是争议极多的。有一些搞PG的朋友认为这是PG充分利用OSCACHE的一种特殊设计，是PG数据库设计中比较优秀的地方。还有一些朋友则认为这是一种过时的设计，与当前数据库技术的发展潮流所相违背的。前些天有几个朋友谈到这个问题，希望我写篇位置表达下我的观点。以我这些年做数据库优化的经验来看，DOUBLEBUFFERING的设计如果算是一种技术上的进步，在这一点上我一直是不太认同的。众所周知，现在几乎所有的现代数据库产品都是用AIO/DIO等方式来访问底层存储系统，只有PG目前还通过BUFFER/CACHE来读取物理文件。

​昨天的案例讲了因为PG的DOUBLEBUFFERING导致的SQL执行忽快忽慢的问题，有些朋友在问是不是Oracle之外的很多数据库都是用类似的方式读取文件，这种DoubleBuffering技术是不是很落后，是不是必须加以改进。实际上，只要是使用文件系统，并且在读数据时没有采用DIO的数据库都会存在DOUBLEBUFFERING的问题，早期的Oracle也存在类似问题。上图比较清晰的说明了DOUBLEBUFFERING问题，对于写的情况，因为先写入CACHE,再由OS把CACHE写入磁盘，中间会有一些性能损失，不过对于现代的数据库来说，只有REDO/WAL是需要强一致性写入的，数据文件的写