草庐IT

尝鲜初体验:使用 Loggie 和 VictoriaLogs 快速构建新一代的日志系统

如果你熟悉Prometheus,想必你肯定也知道VictoriaMetrics,这款越来越流行的监控项目,可作为Prometheus的增强或者平替。VictoriaMetrics一个重要的亮点就是解决Prometheus在大规模Metrics指标数据量级下的存储问题。同属于可观测性,当我们把眼光聚焦到日志领域,其实很久以来日志的一个痛点是也是存储。当前日志存储的痛点时下比较常见的一些开源日志存储项目有:Elasticsearch、Clickhouse、Loki等。当然,Elasticsearch和Clickhouse并非天生针对日志存储而设计,我们只是可以拿来存储日志数据而已。比如Elasti

新一代云原生日志架构 - Loggie的设计与实践

​​想了解更多关于开源的内容,请访问:​​​​51CTO 开源基础软件社区​​​​https://ost.51cto.com​​Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经开源:https://github.com/loggie-io/loggie。1、背景严选日志平台初期,使用filebeat采集云内日志,用flume采集云外日志。期间经历了一段痛苦的运维排障时期,被问的最多的几个问题:某条日志为何没有采集?某条日志为何重复采集了?能否将漏采集的那条日志

新一代云原生日志架构 - Loggie的设计与实践

​​想了解更多关于开源的内容,请访问:​​​​51CTO 开源基础软件社区​​​​https://ost.51cto.com​​Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经开源:https://github.com/loggie-io/loggie。1、背景严选日志平台初期,使用filebeat采集云内日志,用flume采集云外日志。期间经历了一段痛苦的运维排障时期,被问的最多的几个问题:某条日志为何没有采集?某条日志为何重复采集了?能否将漏采集的那条日志