运维日志分析已经由日志搜集剖析服务平台来实现。应对日益增加的系统日志信息内容,最传统式的系统日志搜集方法已无法考虑运维管理工作人员的基础要求。大家为何不运用现如今丰富多彩的开源系统专用工具来打造出一款高效率好用的运维管理系统日志搜集剖析服务平台呢。下列就大家现阶段试着在做的运维管理系统日志服务平台开展简略详细介绍,期待能与诸位交流经验工作经验。
简略详细介绍
对于flume开展适度改变,将Java自然环境添加到flume程序流程中,使flume服务项目启动就可以有着Java自然环境,免去在每台服务器上还需独立布署jdk的困惑。另外,对于不一样系统日志的不一样特性,采用不一样的搜集方法,标准系统日志的文件格式,适度对收集的系统日志开展缩小,可合理降低系统日志收集量。
对于kafka-zookeeper群集,试着选用docker器皿的方法开展布署。Docker以完成迅速布署而称著,因而,假如要布署较过多的kafka-zookeeper群集,还不如试着一下选用docker的布署方法。最先,大家制做一个dockerfile,将dockerfile转化成镜像文件,起动后就可以应用。在应用docker布署kafka-zookeeper群集的情况下,大家也碰到了许多 难题。例如比较突显的是端口号难题,最终大家选用的是docker器皿与宿主机端口映射那样一种比较简单的方法处理的。
将kafka数据信息载入elasticsearch,大家选用的是自身写的一个分布式数据库程序流程来完成的。以前本来是想选用第三方软件这类的物品,但发觉合适自身的的确是沒有,因此,朋友亲自动手写了一个,现阶段认证看来,实际效果和特性還是非常好的。
对于elasticsearch群集,现阶段的侧重点关键紧紧围绕在怎样提升上;
运维日志分析已经由日志搜集剖析服务平台来实现。除此之外,大家还将elasticsearch中的数据信息开展获取,在zabbix上开展展现。现阶段在zabbix上展现的主要参数主要是对pv值和http状态码开展统计分析和监控器。
对于运维管理系统日志搜集与剖析服务平台,要做的也有许多。运维日志分析已经由日志搜集剖析服务平台来实现,现阶段仅仅刚开始,前边也有无数坑在等待,期待可以打导致真实的系统日志搜集剖析服务平台,简单化运维管理平时劳动量,为日常事务出示管理决策与解决根据。