起因：使用flink的时候难免和redis打交道，相信大家都使用过flink-connector-redis来处理，但是当我想要使用RedisSink写入集群时，发现居然不支持使用密码，于是有了这篇笔记。 事情的经过是这样的，我准备用Flink往Redis写入数据，我照常引入flink-connector-redis包dependency>groupId>org.apache.flinkgroupId>artifactId>flink-connector-redis_2.11artifactId>version>1.1.5version>dependency>然后洋洋洒洒写下如下代码：pack
Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。为什么HDFS的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS作为最早的大数据存储系统，存储着宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持HDFS才能获取已经存储在里面的数据。所以大数据技术
Hadoop的第一个产品是HDFS，可以说分布式文件存储是分布式计算的基础，也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDFS。为什么HDFS的地位如此稳固呢？在整个大数据体系里面，最宝贵、最难以代替的资产就是数据，大数据所有的一切都要围绕数据展开。HDFS作为最早的大数据存储系统，存储着宝贵的数据资产，各种新的算法、框架要想得到人们的广泛使用，必须支持HDFS才能获取已经存储在里面的数据。所以大数据技术
一：创建maven项目导入mavenorg.apache.hadoophadoop-hdfs2.7.6//mvnrepository.com/artifact/org.apache.zookeeper/zookeeper-->//mvnrepository.com/artifact/org.apache.hadoop/hadoop-common-->org.apache.hadoophadoop-common2.7.6//mvnrepository.com/artifact/org.apache.hadoop/hadoop-client-->org.apache.hadoophadoop-cl
一：创建maven项目导入mavenorg.apache.hadoophadoop-hdfs2.7.6//mvnrepository.com/artifact/org.apache.zookeeper/zookeeper-->//mvnrepository.com/artifact/org.apache.hadoop/hadoop-common-->org.apache.hadoophadoop-common2.7.6//mvnrepository.com/artifact/org.apache.hadoop/hadoop-client-->org.apache.hadoophadoop-cl
要实现这个示例，必须先安装好hadoop和hive环境，环境部署可以参考我之前的文章：大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）大数据Hadoop之——数据仓库Hive【流程图如下】【示例代码如下】#!/usr/bin/envpython#-*-coding:utf-8-*-#@Author:liugp#@File:Data2HDFS.py"""#pipinstallsasl可能安装不成功pipinstallsasl#可以选择离线安装https://www.lfd.uci.edu/~gohlke/pythonlibs/#saslpipinstallsa
要实现这个示例，必须先安装好hadoop和hive环境，环境部署可以参考我之前的文章：大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）大数据Hadoop之——数据仓库Hive【流程图如下】【示例代码如下】#!/usr/bin/envpython#-*-coding:utf-8-*-#@Author:liugp#@File:Data2HDFS.py"""#pipinstallsasl可能安装不成功pipinstallsasl#可以选择离线安装https://www.lfd.uci.edu/~gohlke/pythonlibs/#saslpipinstallsa
大家好，我是大D。今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。初识Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop提供了一套分布式系统基础架构，核心内容包含HDFS(HadoopDistributedFileSystem,分布式文件系统)、MapReduce计算引擎和YARN(YetAnotherResourceNegotiator,另一种资源协调者)统一资源管理调度。随着大数据技术的更新迭代，如今Hadoop不再是一个单独的技术，而是一套大数据处理的生态圈，如下图所示。除了上述提到的Hadoop三个核心组件之外，还有数据采集工具Sqoop与Flume，
大家好，我是大D。今天开始给大家分享关于大数据入门技术栈——Hadoop的学习内容。初识Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop提供了一套分布式系统基础架构，核心内容包含HDFS(HadoopDistributedFileSystem,分布式文件系统)、MapReduce计算引擎和YARN(YetAnotherResourceNegotiator,另一种资源协调者)统一资源管理调度。随着大数据技术的更新迭代，如今Hadoop不再是一个单独的技术，而是一套大数据处理的生态圈，如下图所示。除了上述提到的Hadoop三个核心组件之外，还有数据采集工具Sqoop与Flume，
redis集群的搭建redis集群的三种模式主从复制哨兵模式cluster集群redis-cluster集群的搭建（在一台linux中搭建,三主三从）下载安装redis5.0.3cd/opt下载redis安装包wgethttp://download.redis.io/releases/redis-5.0.3.tar.gztar-zxvfredis-5.0.3.tar.gz解压make编译cdredis-5.0.3/进入redis文件夹mkdir-p/usr/local/redis-5.0.3创建redis-5.0.3安装文件夹makeinstallPREFIX=/usr/local/redis
