一、redis哨兵+主从的问题假设我们在一台主从机器上配置了200G内存，但是业务需求是需要500G的时候，主从结构+哨兵可以实现高可用故障切换+冗余备份，但是并不能解决数据容量的问题，用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。为了最大化利用内存，可以采用cluster集群，就是分布式存储。即每台redis存储不同的内容。Redis分布式方案一般有两种：①、客户端分区方案：优点是分区逻辑可控，缺点是需要自己处理数据路由、高可用、故障转移等问题，比如在redis2.8之前通常的做法是获取某个key的hashcode，然后取余分布到不同节
一、redis哨兵+主从的问题假设我们在一台主从机器上配置了200G内存，但是业务需求是需要500G的时候，主从结构+哨兵可以实现高可用故障切换+冗余备份，但是并不能解决数据容量的问题，用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。为了最大化利用内存，可以采用cluster集群，就是分布式存储。即每台redis存储不同的内容。Redis分布式方案一般有两种：①、客户端分区方案：优点是分区逻辑可控，缺点是需要自己处理数据路由、高可用、故障转移等问题，比如在redis2.8之前通常的做法是获取某个key的hashcode，然后取余分布到不同节
准备网络数据这一步不是很重要，提供一些假数据而已，不是重点嫌麻烦的可以跳过。先介绍一个网址：点击这个网址用来搭建我们需要的网络数据，注册账号非常简单，这里就不多说了。注册完成之后，新建一个仓库，简简单单取个名字就够了：之后点击进入仓库，可以看到下图：会默认生成以一个示例接口，可以看一看示例接口的生成规则。看不懂也没关系，我们直接直接上手自己新建一个接口，如图所示：点击右上角的编辑按钮进入编辑模式，新建一个响应chatlist，类型为Array。然后生成chatlist的数据，imageUrl表示每条聊天数据的用户头像。其中用户头像的初始值里面有一段@natural(20,99)，这个是Mock
准备网络数据这一步不是很重要，提供一些假数据而已，不是重点嫌麻烦的可以跳过。先介绍一个网址：点击这个网址用来搭建我们需要的网络数据，注册账号非常简单，这里就不多说了。注册完成之后，新建一个仓库，简简单单取个名字就够了：之后点击进入仓库，可以看到下图：会默认生成以一个示例接口，可以看一看示例接口的生成规则。看不懂也没关系，我们直接直接上手自己新建一个接口，如图所示：点击右上角的编辑按钮进入编辑模式，新建一个响应chatlist，类型为Array。然后生成chatlist的数据，imageUrl表示每条聊天数据的用户头像。其中用户头像的初始值里面有一段@natural(20,99)，这个是Mock
这两天有业务部门反馈，总有hive跑某天的log失败。看了一下log，虽然各种报错不一样，但基本都是OOM，追了一下午，终于追出来原因了，特此记录一下。这个问题很诡异，map阶段oom，按说map的时候一个map对应一个数据块，最大也就占用128M内存，怎么会溢出呢，通常都应该是reduce溢出才对。先看看各个hadoop节点的tasktracker报的错误log。节点一2013-05-0820:59:06,467FATALorg.apache.hadoop.mapred.Child:Errorrunningchild:java.lang.OutOfMemoryError:Javaheapsp
这两天有业务部门反馈，总有hive跑某天的log失败。看了一下log，虽然各种报错不一样，但基本都是OOM，追了一下午，终于追出来原因了，特此记录一下。这个问题很诡异，map阶段oom，按说map的时候一个map对应一个数据块，最大也就占用128M内存，怎么会溢出呢，通常都应该是reduce溢出才对。先看看各个hadoop节点的tasktracker报的错误log。节点一2013-05-0820:59:06,467FATALorg.apache.hadoop.mapred.Child:Errorrunningchild:java.lang.OutOfMemoryError:Javaheapsp
标签（空测试用例格分隔）：OpenStackTrain系列一：Neutron服务安装1.1Neutron简介OpenStack网络使用的是一个SDN（SoftwareDefinedNetworking）组件，即Neutron，SDN是一个可插拔的架构，支持插入交换机、防火墙、负载均衡器等，这些都定义在软件中，从而实现对整个云基础设施的精细化管控。前期规划，将ens33网口作为外部网络（在Openstack术语中，外部网络常被称之为Provider网络），同时也用作管理网络，便于测试访问，生产环境建议分开；ens35网络作为租户网络，即vxlan网络；ens36作为ceph集群网络。OpenSt
标签（空测试用例格分隔）：OpenStackTrain系列一：Neutron服务安装1.1Neutron简介OpenStack网络使用的是一个SDN（SoftwareDefinedNetworking）组件，即Neutron，SDN是一个可插拔的架构，支持插入交换机、防火墙、负载均衡器等，这些都定义在软件中，从而实现对整个云基础设施的精细化管控。前期规划，将ens33网口作为外部网络（在Openstack术语中，外部网络常被称之为Provider网络），同时也用作管理网络，便于测试访问，生产环境建议分开；ens35网络作为租户网络，即vxlan网络；ens36作为ceph集群网络。OpenSt
