草庐IT

【elk-day01】es和kibana搭建及验证---Mac-Docker

Mac系统使用Docker下载搭建和验证es+kibanaDocker下载安装es安装es验证kibana安装kibana验证Docker下载安装DockerDesktop官网安装下载地址说明一下为什么要安装desktop版本的docker,因为docker作为工具使用,我们需要的是开箱即用,没有必要非得整那种dockerserver什么的手动进行安装,一大堆配置很麻烦,这个desktop很适合新手使用,查看管理镜像和容器非常方便下载完之后打开docker.dmg文件,将docker的图标拖动至application打开application中的docker程序,不知道怎么打开的,快捷键com

苦修ES(Elasticsearch),阿里、百度等大厂都向我递来了意向书

Elasticsearch是一款非常强大的开源搜索及分析引擎。除了搜索,结合Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析,包括日志分析、指标监控、信息安全等多个领域。在国内,阿里巴巴、腾讯、滴滴、字节跳动、饿了么、360安全、小米,vivo等诸多知名公司都在使用Elasticsearch。这份文档将带你全面掌握Elasticsearch在生产环境中的核心实战技能。学完后,你可以在工作中快速构建出符合自身业务的分布式搜索和数据分析系统。由浅入深:从基础概念到进阶用法,再到集群管理和大数据分析,学完即可应用到实际生产环境中;实战演练:通过两个

es--基础--9.2--SpringBoot注解--Field--介绍

es–基础–9.2–SpringBoot注解–Field–介绍内容@Retention(RetentionPolicy.RUNTIME)@Target(ElementType.FIELD)@Documented@Inheritedpublic@interfaceField{ @AliasFor("name") Stringvalue()default""; @AliasFor("value") Stringname()default""; #自动检测属性的类型,可以根据实际情况自己设置 FieldTypetype()defaultFieldType.Auto; #是否建立索引 boole

ES6中 Promise 概念、基本用法和封装ajax(json数据使用)

目录一、定义1.对象的状态不受外界影响。2.一旦状态改变了就不会在变,也就是说任何时候Promise都只有一种状态。二、基础用法(Proimse.prototype.then()、Promise.prototype.catch())Proimse.prototype.then()Promise.prototype.catch()三、json的使用(需要先了解)四、ajax的基础使用1.基本流程2.基本使用3.用promise封装一、定义Promise是异步编程的一种解决方案,可以替代传统的解决方案--回调函数和事件。ES6统一了用法,并原生提供了Promise对象。作为对象,Promise有一

【ELK】ES新节点分配不平衡

为什么会出现机器配置一致的情况下,分配不平衡的情况呢?怎么样才能将较大的分片迁移出来呢,添加节点怎么避免这种情况呢?背景条件: 集群扩容,添加了20个hot节点,8个cold节点。hot均衡正常,cold节点在均衡时,新加的节点磁盘使用达到了cluster.routing.allocation.disk.watermark.low水位线,但分片数远远小于其他的cold节点,通过检查发现大分片数量远远大于其他节点(cold的服务器配置都是一致的,包含磁盘、内存等)均衡后cold和hot的磁盘使用  新cold节点分片数远远小于其他的cold节点hot节点分片数与磁盘使用cold节点分片数与磁盘使

【ES实战】Elasticsearch6开始的CCR

【ES实战】学习使用Elasticsearch6开始的CCR本文涉及官网文章地址OverviewRequirementsforleaderindicesAutomaticallyfollowingindicesGettingstartedwithcross-clusterreplicationUpgradingclustersCCR=>Cross-clusterreplication文章目录【ES实战】学习使用Elasticsearch6开始的CCRCCR=>Cross-clusterreplication概述配置主从关系主从复制的机制检查复制的进度暂停、恢复数据的复制复制时的主索引保的留操作

ES 通过查询更新某个字段,Error 500 (Internal Server Error)

问题描述:项目中通过查询ES中某个字段,并更新某个值的字段,当量比较大的时候报错:upsertassociatedfailed:elastic:Error500(InternalServerError):Failedtocompileinlinescript[ctx._source.pcap_filename=]usinglang[painless][type=general_script_exception]问题解析:1.通过查询某个字段并更新这条数据中某个值的时候,如果是通过Script的方式更新,需要先阅读ES的官方Script撰写界面:Howtowritescripts|Elastic

ES集群状态检查报错:master_not_discovered_exception 503错误

一、故障描述在完成ES集群部署,启动后,执行ES集群状态检查发现,集群报错503错误,如下所示:环境:Elasticsearch7.0.1;JDK版本1.8.0_211二、处理过程1、修改elasticsearch.yml将cluster初始化节点,三个都全写上。修改cluster.initial_master_nodes:[“Namenode”,“Datanode2”]为cluster.initial_master_nodes:[“Namenode”,“Datanode2”,“Datanode1”]#Bootstraptheclusterusinganinitialsetofmaster-e

ES的使用(Elasticsearch)

ES的使用(Elasticsearch)es是什么?es是非关系型数据库,是分布式文档数据库,本质上是一个JSON文本为什么要用es?搜索速度快,近乎是实时的存储、检索数据怎么使用es?1.下载es的包(环境要是jdk1.8及以上)(我的资源中有)2.下载es的可视化界面包(我的资源中有)3.java编写es的工具类es与关系型数据库对比1.下载es的包,解压,运行bat文件(windows)下载地址:es官网下载地址elasticsearch.yml配置允许跨域http.cors.enabled:truehttp.cors.allow-origin:"*"2.下载es的可视化界面包,解压,使

【python自动化实战-引入trace】在项目中引入trace跟踪每条testcase执行过程中的日志+日志推送es

背景最近公司在跑自动化case过程中有很多异常case,有的很难依据现有的日志定位问题(日志多且乱,无关联性),时常需要本地debug才能发现问题,很影响写自动化的效率以及自动化运行的通过率。因此领导下发了一个需求:需要给每一条case绑定一个trace,通过trace关联case执行过程中的日志信息。这样通过查看日志即可快速知道case运行的问题点。经过一番思考与实践,就有了下面的方案。分析trace的引入:在自定义的log_tool中添加trace_id的生成与写入使用pytest的钩子函数给每条case添加不同的trace_idtrace_id采用uuid来生成日志推送es(或者写入本地