草庐IT

ElasticSearch_dsl

全部标签

elasticsearch - 并发文件解析并插入到 Elastic Search 中

我最近在玩Go,想出了一个小脚本来解析日志文件并将它们插入到Elasticsearch中。对于每个文件,我都生成了一个这样的goroutine:varwg:=sync.WaitGroup{}wg.Add(len(files))for_,file:=rangefiles{gofunc(fos.FileInfo){deferwg.Done()ProcessFile(f.Name(),config.OriginFilePath,config.WorkingFilePath,config.ArchiveFilePath,fmt.Sprintf("http://%v:%v",config.Ela

elasticsearch - 无法连接到我的代理 elasticsearch 节点

我在从我的Go客户端连接到我的es节点时遇到问题。我在设置基本身份验证的nginx代理后面有elasticsearch。除了内存,所有设置在ES中都是默认的。通过浏览器可以很好地工作,但不能通过这个客户端:https://github.com/olivere/elastic我阅读了文档,它说它使用/_nodes/httpapi进行连接。现在这可能是我做错的地方,因为来自该api的响应如下所示:{"_nodes":{"total":1,"successful":1,"failed":0},"cluster_name":"elasticsearch","nodes":{"u6TqFjAvR

elasticsearch - 在 google go 中使用 olivere/elastic 通过 ElasticSearch 中的查询更新记录

我在我的go应用程序中使用olivere/elastic库进行Elasticsearch。我有elasticsearch文档的特定字段(比如fieldA)的值列表。我想通过搜索字段fieldA来更新所有文档的特定字段。这个:UpdatingarecordinElasticSearchusingolivere/elasticingooglego解释更新部分。但就我而言,没有要更新的文档ID。所以,要么我可以进行搜索调用以检索文档ID,然后更新它们,要么还有另一种方法丢失了吗?提前致谢。 最佳答案 如果需要更新文件列表,可以使用Upda

Elasticsearch 查询 : Select documents by comparing lists of values (golang)

我有一种在ElasticSearch中索引的文档,其简化结构如下:{id:"54"properties:["nice","green","small","dry"]}现在我想选择该索引中的所有文档,这些文档不在properties字段中包含给定值的列表。类似于:SELECT*FROMindexWHEREpropertiesNOTCONTAINS["red","big","scary"]我如何在elasticsearch上实现它?(而且我有人知道如何在Golang上实现这样的查询,我会做得更好:-))谢谢! 最佳答案 您可以使用子句b

go - ElasticSearch 上特定搜索类型的分页

我们目前正在使用ElasticSearch6.7,并且有大量数据使一些请求花费了太多时间。为了避免这个问题,我们想在我们对elasticsearch的研究中设置分页。问题是我无法将ES提出的一种分页方法放在已经存在的不同请求上。例如,此请求包含不同的聚合和查询:https://github.com/trackit/trackit/blob/master/usageReports/lambda/es_request_constructor.go#L61-L75此外,在收集信息后对结果进行排序。我尝试设置SearchAfter方法以及使用from和size的分页形式。滚动不适用于聚合,复合

python - Elasticsearch - field_value_factor,缺少参数

所以我终于设置了elasticsearch数据库并将数据导入其中。有时当我尝试从前端请求数据时,我会收到500错误(并非总是如此,只是有时)。我尝试从POSTMAN请求数据(以查看ES错误消息)。我得到了:{"error":"SearchPhaseExecutionException[Failedtoexecutephase[query],allshardsfailed;shardFailures{[9m4uVcf3TLmQ9Kr7z_fSpQ][text][0]:QueryPhaseExecutionException[[text][0]:query[filtered(functio

ELK分析系统----Elasticsearch集群

学习目标:掌握Elasticsearch集群的简单使用学习内容:Elasticsearch介绍Elasticsearch:存储、搜索和分析Elastcisearch是ELK核心的分布式搜索和引擎。logstash和beats有助于收集,聚合和丰富你的数据并将其存储在Elasticsearch中,使用kibana,可以交互式探索,可视化和共享对数据的见解,并管理和监视堆栈。Elasticsearch是发生索引,搜索和分析数据的地方Elastcisearch为所有类型的数据提供近乎实时的搜索和分析支持的数据类型:结构化文本非结构文本数字数据地理空间数据文档Elasticsearch是面向文档的,文

xml - 将维基百科转储加载到 Elasticsearch

我想加载一个XML维基百科转储,例如:http://ftp.acc.umu.se/mirror/wikimedia.org/dumps/enwiki/20171001/enwiki-20171001-pages-articles.xml.bz2进入Elasticsearch(5.6.4)。但是,我找到的所有工具和教程都已过时,并且与我的Elasticsearch版本不兼容。谁能解释将转储导入Elasticsearch的最佳方法是什么? 最佳答案 两年前,维基媒体提供了生产Elasticsearch索引的可用转储。索引每周导出一次,每

java - 我可以将 XText 用于涉及 XML 文件类型的 DSL 吗?

我定义了一个小型DSL,它主要以不同类型的XML文件形式编写,并结合一些属性文件。这工作得很好,但我希望创建一个Eclipse编辑器,使初学者更容易编辑这些文件(我已经有一个可用的解析器)。主XML文件可以引用.properties文件中的一些项目,反之亦然。主xml文件还可以引用其他XML文件。根据.properties文件的内容和一些可以添加到DSL项目的osgi插件,某些选项应该只在主xml文件中可用(语法是动态的,具体取决于上下文)。语言的结构是固定的,但每个属性中可用的选项或属性本身的选择会根据插件.jar文件中包含的元数据而变化。问题:XText是否支持动态语法(验证根据外

Elasticsearch:使用 Filebeat 从 Node.js Web 应用程序提取日志

本指南演示了如何从Node.jsWeb应用程序中提取日志并将它们安全地传送到ElasticsearchService部署中。你将设置Filebeat来监控具有标准ElasticCommonSchema(ECS)格式字段的JSON结构化日志文件,然后你将在向Node.js服务器发出请求时查看Kibana中日志事件的实时可视化。虽然此示例使用了Node.js,但这种监视日志输出的方法适用于许多客户端类型。检查可用ECS日志记录插件的列表。在如下的演示中,我将使用最新的ElasticStack8.5.0来进行展示。使用Filebeat从Node.jsWeb应用程序提取日志安装ElasticStack