分布式搜索引擎030.学习目标1.数据聚合**聚合（aggregations）**可以让我们极其方便的实现对数据的统计、分析、运算。例如：什么品牌的手机最受欢迎？这些手机的平均价格、最高价格、最低价格？这些手机每月的销售情况如何？实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。1.1.聚合的种类聚合常见的有三类：**桶（Bucket）**聚合：用来对文档做分组TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组DateHistogram：按照日期阶梯分组，例如一周为一组，或者一月为一组**度量（Metric）**聚合：用

0持久化(pipelines.py)使用步骤1爬虫中间件和下载中间件1.1爬虫中间件(一般不用)1.2下载中间件（代理，加请求头，加cookie）1.2.1加请求头(加到请求对象中)1.2.2加cookie1.2.3加代理2scrapy集成selenium3源码去重规则（布隆过滤器）3.1布隆过滤器4分布式爬虫持久化(pipelines.py)使用步骤#1scrapy框架，安装，创建项目，创建爬虫，运行爬虫#2scrapy架构#3解析数据 1response对象有css方法和xpath方法 -css中写css选择器response.css('')-xpath中写xpath选择response.

1.分布式  　　微服务和分布式的区别 　　1.将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过接口进行数据交互。区别分布式的方式是根据不同机器不同业务。 　 　　2.分布式是否属于微服务？ 　　答案是肯定的。微服务的意思也就是将模块拆分成一个独立的服务单元通过接口来实现数据的交互。 　　3.微服务架构 　　微服务的设计是为了不因为某个模块的升级和BUG影响现有的系统业务。微服务与分布式的细微差别是，微服务的应用不一定是分散在多个服务器上，他也可以是同一个服务器。 　微服务和分布式的区别 　　分布式和微服的架构很相似，只是部署的方式不一样而已。 　　分布式

1.minio介绍Minio是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。2.minio下载地址下载3.liunxminio文件授权chomd+xminio4.编写启动minioshell文件virun.sh#!/bin/bash#web管理界面登录用户exportMINIO_RO

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加分布式锁解决方案_Zookeeper实现分布式锁提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、Zookeeper实现分布式的优点？二、实现原理获得锁释放锁三、实现步骤1.引入Curator依赖2.编写Zookeeper配置3.代码实现总结前言提示：这里可以添加本文要记录的大概内容：Zookeeper是一个开源的分布式协调服务，它提供了一种简单而强大的方式来管理分布式系统中的数据和状态。通过利用Zookeeper的特性，我们可以构建一个高可靠性和高性能的分布式锁实现。博客将详

简介Git是一个开源的分布式版本控制系统，旨在有效、高速地处理从很小到非常大的项目版本管理。它是由LinusTorvalds于2005年创建的，最初是为了服务于Linux内核开发的版本控制需求。Git通过强大的分支功能、高效的缓存机制以及可扩展的架构设计，为开发者提供了一个高效、灵活且易于维护的开发工具。 历史发展在2000年代初，许多开发者使用中心化的版本控制系统（如CVS、Subversion）进行项目开发。然而，随着项目规模的不断扩大，这些系统逐渐暴露出一些问题，如代码冲突解决困难、分支管理繁琐等。为了解决这些问题，LinusTorvalds开始着手开发Git。Git的初衷是作为一种过渡

目录微服务(Microservices)微服务微服务架构图微服务集群架构简单代码举例微服务架构在购物下单平台的简单应用传统单体架构微服务架构转变微服务架构下的购物平台模块微服务架构的优势分布式系统(DistributedSystems)分布式分布式架构图分布式服务器集群部署架构图简单代码举例互联网架构演变互联网架构演化概览架构设计演进原因架构演进的过程架构演进的优缺点架构演进的驱使SpringCloud集群+分布式+节点概念集群（Cluster）分布式（DistributedSystem）节点（Node）关系和区别远程调用(RemoteCall)1.远程过程调用（RPC）2.远程方法调用（RM

文章目录原理创建分布式事件总线实现自动订阅和事件转发使用启动Redis服务配置传递Abp默认事件传递自定义事件项目地址原理本地事件总线是通过Ioc容器来实现的。IEventBus接口定义了事件总线的基本功能，如注册事件、取消注册事件、触发事件等。Abp.Events.Bus.EventBus是本地事件总线的实现类，其中私有成员ConcurrentDictionary>_handlerFactories是事件订阅表。通过维护事件订阅表来实现事件处理器的注册和取消注册。当对应类型的事件触发时，通过订阅表查找所有事件处理器，通过Ioc容器来获取处理器实例，然后通过反射来调用事件处理器的"Handle

前言在上一篇文章SpringBoot自动装配原理以及实践我们完成了服务通用日志监控组件的开发，确保每个服务都可以基于一个注解实现业务功能的监控。而本文我们尝试基于RocketMQ实现下单的分布式的事务。可能会有读者会有疑问，之前我们不是基于Seata完成了分布式事务，为什么我们还要用到RocketMQ呢？我们的再来回顾一下我们下单功能大抵是做以下三件事情:创建订单，将订单记录存到数据库中。扣款，记录用户扣款后钱包所剩下的额度。扣除商品库存，并发放商品。我们将该场景放到高并发场景下，这个功能势必要考虑性能和可靠性问题，所以我们在业务需求清楚明了的情况下，就希望能有一种方式确保下单功能在高并发场景

分布式锁分布式锁是控制分布式系统间同步访问共享资源的一种方式，其可以保证共享资源在并发场景下的数据一致性。当有多个线程要访问某一个共享资源（DBMS中的数据或Redis中的数据，或共享文件等）时，为了达到协调多个线程的同步访问，此时就需要使用分布式锁了。为了达到同步访问的目的，规定，让这些线程在访问共享资源之前先要获取到一个令牌token，只有具有令牌的线程才可以访问共享资源。这个令牌就是通过各种技术实现的分布式锁。而这个分布锁是一种“互斥资源”，即只有一个。只要有线程抢到了锁，那么其它线程只能等待，直到锁被释放或等待超时。在对某一资源操作之前，程序先在Redis中拿到锁：setnx命令，在f