大量的业务日志,如何简单高效记录?

junwind

业务中有大量操作日志需要记录,并且有专门的后台管理系统,给策划,运营做数据查看,分析;

有什么好的办法,既简单,又高性能的完成大量的日志记录呢?

2084 2 0
2个回答

manbuheiniu

日志收集有很多成熟的方案吧!最简单的就是把日志往队列里扔,消费端处理保存。如果量很大,可以弄集群弄日志收集服务,也是扔消息队列再保存

  • jie365@126.com 2022-01-24

    ELK也不错。日志先落盘,经过filebeat采集,再经过logstash清洗,最后存储到es

  • junwind 2022-01-27

    我问一下哈,直接异步存放到mysql,或者mongoDB可行吗,有没有什么问题

  • jie365@126.com 2022-01-27

    直接存mysql mongodb,如果说是侧重于持久化存储是可以的。

    如果日志量比较大,持久化存储后,未来还要做搜索分析,那么你说的方案就存在严重性能问题。

  • junwind 2022-01-27

    是这样的,存的时候,可以按格式存好,查询分析直接sql语句取,再加缓存

  • jie365@126.com 2022-01-27

    日志多了之后,mysql查询性能太低,而且不好做全文检索。还是要看你们的业务需求和对性能的要求。

    我们对性能要求比较高,用ELK方案,几亿条日志搜索都超级快。

Tinywan

ES

  • 暂无评论
年代过于久远,无法发表回答
×
🔝