@Dlin你们的分布式日志收集方案是什么 中发帖

最近公司做了一个项目要求保证高可用多实例部署。 
由于之前都是单服务部署,因此对分布式日志收集这块也没有过多的研究。
现在要求多实例了,那就需要用到分布式日志收集了。搜寻了大多数方案都是elk全家桶。
但是我们觉得这套方案太重了,之前和部门领导也讨论过,他认为没有必要上这套(我觉得他压根没考虑后续维护问题)
于是我思考了一下,想到dockerswarm的日志存储方案是输出json格式,在查看service日志时应该是用的时间进行排序再输出。所以我也使用了logback的jsonencoder进行json格式输出,查看实时日志后端用SSE实现,前端则叫ai写了个虚拟滚动实现进行展示。查看历史日志则是合并所有服务的日志并排序后在全部传给前端进行解压并渲染。这一设计在测试环境运行都良好(因为测试环境日志量小)
现在即将上线了,但发现一些问题。如果日志文件本身很大了,实时日志限制初始返回的...