草庐IT

install-configuration

全部标签

大数据架构-Spark-configuration(官网文档)(学习随笔)

Spark配置Spark提供三个位置配置系统:Spark属性控制大多数应用程序参数,可以通过使用SparkConf对象或通过Java系统属性进行设置。可以使用环境变量在每个节点上通过conf/spark-env.sh脚本设置每台机器的设置,例如IP地址。可以通过log4jb.properties配置日志记录。Spark属性控制大多数应用程序设置,并为每个应用程序单独配置。这些属性可以直接设置SparkConf传递给你的SparkContext。SparkConf允许您配置一些常用属性(例如主URL和应用程序名称),以及通过set()方法配置任意键值对。例如,我们可以用如下两个线程初始化一个应用

大数据架构-Spark-configuration(官网文档)(学习随笔)

Spark配置Spark提供三个位置配置系统:Spark属性控制大多数应用程序参数,可以通过使用SparkConf对象或通过Java系统属性进行设置。可以使用环境变量在每个节点上通过conf/spark-env.sh脚本设置每台机器的设置,例如IP地址。可以通过log4jb.properties配置日志记录。Spark属性控制大多数应用程序设置,并为每个应用程序单独配置。这些属性可以直接设置SparkConf传递给你的SparkContext。SparkConf允许您配置一些常用属性(例如主URL和应用程序名称),以及通过set()方法配置任意键值对。例如,我们可以用如下两个线程初始化一个应用

Installation MongoDB-5.0.13 on CentOS 7.9

一、InstallationMongoDB-5.0.13onCentOS7.91地址https://www.mongodb.com/try/download/community22机器版本#操作系统内核版本uname-a#操作系统发行版本cat/etc/redhat-release3wget下载#推荐wget下载yuninstall-ywgetwgethttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-5.0.13.tgz 二、解压tar-zxvf/opt/software/mongodb-linux-x86_64-rhel

Installation MongoDB-5.0.13 on CentOS 7.9

一、InstallationMongoDB-5.0.13onCentOS7.91地址https://www.mongodb.com/try/download/community22机器版本#操作系统内核版本uname-a#操作系统发行版本cat/etc/redhat-release3wget下载#推荐wget下载yuninstall-ywgetwgethttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-5.0.13.tgz 二、解压tar-zxvf/opt/software/mongodb-linux-x86_64-rhel

npm install时遇到错误"error:0308010C:digital envelope routines::unsupported"的解决办法

  今天早上打开电脑,更新了日常工作的github仓库,然后就是习惯性地执行了"npminstall",发现报了下面这个错误:Error:error:0308010C:digitalenveloperoutines::unsupported  顺便看了一下错误堆栈,发现是一个Node的内核文件抛出来的错误,我的第一反应这个错误应该是和Node的版本有关(前几天刚刚升级过Node),所以理所当然地降低Node的版本应该可以解决这个问题。或者使用nvm(Windows平台上也可以使用nvm-windows)安装多个不同的Node版本。  除了切换Node的版本来解决这个问题外,其实还可以尝试启用l

npm install时遇到错误"error:0308010C:digital envelope routines::unsupported"的解决办法

  今天早上打开电脑,更新了日常工作的github仓库,然后就是习惯性地执行了"npminstall",发现报了下面这个错误:Error:error:0308010C:digitalenveloperoutines::unsupported  顺便看了一下错误堆栈,发现是一个Node的内核文件抛出来的错误,我的第一反应这个错误应该是和Node的版本有关(前几天刚刚升级过Node),所以理所当然地降低Node的版本应该可以解决这个问题。或者使用nvm(Windows平台上也可以使用nvm-windows)安装多个不同的Node版本。  除了切换Node的版本来解决这个问题外,其实还可以尝试启用l

redis集群搭建 Installing Redis Cluster

简介:Redis的集群模式实现了数据的分布式存储,每个节点存储不同的数据,实现数据动态扩容。优点:无中心节点架构,数据按照slot分布在多个节点上缺点:不支持多数据库 1、安装包准备  1、redis-4.0.1.tar.gz redis源文件    下载地址:https://download.redis.io/releases/redis-4.0.1.tar.gz  2、ruby-2.5.9.tar.gz ruby安装包2、安装机器准备  三台机器:192.168.43.120 192.168.43.130 192.168.43.140  3主3从,每台机器两个节点 3、目录创建和redis

redis集群搭建 Installing Redis Cluster

简介:Redis的集群模式实现了数据的分布式存储,每个节点存储不同的数据,实现数据动态扩容。优点:无中心节点架构,数据按照slot分布在多个节点上缺点:不支持多数据库 1、安装包准备  1、redis-4.0.1.tar.gz redis源文件    下载地址:https://download.redis.io/releases/redis-4.0.1.tar.gz  2、ruby-2.5.9.tar.gz ruby安装包2、安装机器准备  三台机器:192.168.43.120 192.168.43.130 192.168.43.140  3主3从,每台机器两个节点 3、目录创建和redis

Installation RocketMQ-4.9.2 on CentOS 7.9

一、InstallationRocketMQ-4.9.2onCentOS7.9地址:https://rocketmq.apache.orghttps://github.com/apache/rocketmqhttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip 准备环境 二、下载RocketMQwgethttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip安装解压工具yuminst

Installation RocketMQ-4.9.2 on CentOS 7.9

一、InstallationRocketMQ-4.9.2onCentOS7.9地址:https://rocketmq.apache.orghttps://github.com/apache/rocketmqhttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip 准备环境 二、下载RocketMQwgethttps://archive.apache.org/dist/rocketmq/4.9.2/rocketmq-all-4.9.2-bin-release.zip安装解压工具yuminst