业务中有大量操作日志需要记录,并且有专门的后台管理系统,给策划,运营做数据查看,分析;
有什么好的办法,既简单,又高性能的完成大量的日志记录呢?
日志收集有很多成熟的方案吧!最简单的就是把日志往队列里扔,消费端处理保存。如果量很大,可以弄集群弄日志收集服务,也是扔消息队列再保存
ELK也不错。日志先落盘,经过filebeat采集,再经过logstash清洗,最后存储到es
我问一下哈,直接异步存放到mysql,或者mongoDB可行吗,有没有什么问题
直接存mysql mongodb,如果说是侧重于持久化存储是可以的。
如果日志量比较大,持久化存储后,未来还要做搜索分析,那么你说的方案就存在严重性能问题。
是这样的,存的时候,可以按格式存好,查询分析直接sql语句取,再加缓存
日志多了之后,mysql查询性能太低,而且不好做全文检索。还是要看你们的业务需求和对性能的要求。
我们对性能要求比较高,用ELK方案,几亿条日志搜索都超级快。
ES
日志收集有很多成熟的方案吧!最简单的就是把日志往队列里扔,消费端处理保存。如果量很大,可以弄集群弄日志收集服务,也是扔消息队列再保存
ELK也不错。日志先落盘,经过filebeat采集,再经过logstash清洗,最后存储到es
我问一下哈,直接异步存放到mysql,或者mongoDB可行吗,有没有什么问题
直接存mysql mongodb,如果说是侧重于持久化存储是可以的。
如果日志量比较大,持久化存储后,未来还要做搜索分析,那么你说的方案就存在严重性能问题。
是这样的,存的时候,可以按格式存好,查询分析直接sql语句取,再加缓存
日志多了之后,mysql查询性能太低,而且不好做全文检索。还是要看你们的业务需求和对性能的要求。
我们对性能要求比较高,用ELK方案,几亿条日志搜索都超级快。
ES