草庐IT

ElasticSearch(九):ELK 架构

全部标签

一块GPU搞定ChatGPT;ML系统入坑指南;理解GPU底层架构

1.跑ChatGPT体量模型,从此只需一块GPU在发展技术,让大模型掌握更多能力的同时,也有人在尝试降低AI所需的算力资源。最近,一种名为FlexGen的技术因为「一块RTX3090跑ChatGPT体量模型」而获得了人们的关注。虽然FlexGen加速后的大模型看起来仍然很慢——跑1750亿参数的语言模型时每秒1个token,但令人印象深刻的是,它已经把不可能变成了可能。传统上,大型语言模型(LLM)推理的高计算和内存要求使人们必须使用多个高端AI加速器进行训练。本研究探索了如何将LLM推理的要求降低到一个消费级GPU并实现实用性能。链接:https://mp.weixin.qq.com/s/Z

go - Cadvisor 支持 ELK 堆栈

ELKstack被大量使用,但cAdvisor只支持influxdb。所以我想基于Lumberjack协议(protocol)实现一个日志存储转发驱动器。我认为cAdvisor可以将指标数据转发到LogStash。所以我打算着手解决这个问题。但我真的不知道如何开始编码。https://github.com/google/cadvisor/issues/634 最佳答案 我已经在ElasticSearch中实现了商店指标数据。请参阅https://github.com/google/cadvisor/pull/875

elasticsearch - go + elastigo panic : runtime error: index out of range

我正在用elasticsearch测试golang我正在使用图书馆:https://github.com/mattbaird/elastigo我的问题是当我运行时:gorunelastigo_postal_code2.go编译器显示如下:panic:runtimeerror:indexoutofrangegoroutine1[running]:panic(0x893ce0,0xc82000a150)/opt/go/src/runtime/panic.go:464+0x3ffmain.main()/home/hector/go/elastigo_postal_code2.go:80+0x

elasticsearch - 将我的 Go 应用程序日志捕获到 fluentd

目前我有一个包含50多个.go文件的goweb应用程序。现在每个文件都在STDOUT上写入日志。我想用fluentd抓取这些日志,然后发送到elasticsearch/kibana。我在互联网上搜索解决方案。有一个包裹https://github.com/fluent/fluent-logger-golang.要使用它,我需要在每个go文件中更改我的整个日志记录相关代码。而且我需要将许多数据结构发布到fluentd。简而言之,我不想使用这种方法。请告诉我是否有任何其他方法可以做到这一点。谢谢 最佳答案 理想情况下(至少在我看来),您

elasticsearch - Golang : Using ElasticSearch library called Goes, 如何为 bool should 方法编写可执行代码?

我正在使用gos库(https://github.com/OwnLocal/goes),它是Golang中ElasticSearch的包装器。在ElasticSearch查询中,我们可以这样运行:{"query":{"match":{"user_id_1":"438018"}}}而且有效。对于使用gos的golang,你可以像这样运行它:varquery=map[string]interface{}{"query":map[string]interface{}{"match":map[string]interface{}{"user_id_1":"438018",},},}这是我的问题

node.js - 基本客户端/服务器架构和交互

我正在尝试实现客户端和服务器并定义它​​们的交互。客户端使用Golang设计,服务器使用Node.js设计,它们使用gRPC进行交互。所以基本要点是:客户端联系服务器更新后端数据库客户端收到服务器的成功响应然后客户端自己更改数据库现在反射(reflect)的整个系统的状态但是假设发生了一些事情,使得进程在步骤2和3之间终止(客户端进程以某种方式终止)。确保我的后端数据库不反射(reflect)与现实不一致的系统状态的最佳方法是什么?我敢肯定这不是一个新问题,只是想知道人们通常如何处理此类设计。所以我已经考虑过重新设计这种交互,使服务器成为处理系统变化的实体——这样一切都在同一个请求中和

elasticsearch - 如何用 Go 构造 Elasticsearch 查询?

我正在为Go使用olivere的Elasticsearch库-https://github.com/olivere/elastic我无法正确构建搜索查询,它一直返回0个匹配项。termQuery:=elasticClient.NewTermQuery("hash","hashedID")fmt.Println(termQuery)searchResult,err:=qs.client.Search().Index("someIndex").Type("node").Query(termQuery).Pretty(true).Do(ctx)iferr!=nil{returnnil}sea

elasticsearch - 如何检查 ElasticSearch BulkProcessor 服务是否存在

我正在为golang使用elastic包。我想使用它的BulkProcessor在后台发送大量文档。如wiki所示,我可以创建一个处理器。但我不想每次发送文件时都创建它。我想知道连接中是否存在处理器服务并将数据传递给现有处理器而不是创建新处理器。我怎样才能实现它? 最佳答案 注册批量处理器与发送文件分开。批量处理器的生命周期与您的进程一样长,因此要确保您只创建一次,请在进程启动时创建它。然后在您申请的其他地方,您可以随时发送文件。或者,如果您必须按需进行,您可以使用sync.Once以确保创建只发生一次。

elasticsearch - 如何有效地只获取文档的一个字段进行 Elasticsearch

我是elasticsearch的新手,遇到了一些技术难题。目前我有存储在每小时索引中的文档,它们是时间序列数据。我想弄清楚的是如何有效地只提取key字段值,它被定义为"key":{"type":"long"}.我最初尝试了天真的方法,即滚动浏览所有索引并提取字段,但显然这不会很快完成,每个每小时索引都有大约10M文档,滚动3个索引已经花费了很长时间。然后我来到termsaggregations,尝试将key字段作为聚合项:"aggregations":{"test_group":{"terms":{"field":"key","size":100000}}}这给了我更好的性能,但当用户

elasticsearch - 有没有办法通过 Elasticsearch 查询故意返回空值?

我必须在我的代码中返回一个elasticsearch查询(Golang使用olivere的elasticv.5库),如果出现特定情况,我希望能够传递一个耗时最短且始终返回null的查询。有没有标准的方法来做到这一点?我尝试使用带有空字符串作为参数的Term查询:elastic.NewTermQuery("","")但这似乎不是一个有效的查询。有什么好的方法吗? 最佳答案 如果“始终返回null”是指不匹配:{"bool":{"must_not":{"match_all":{}}}}我确信match_all的实现非常有效。