运维日志分析的注意事项一、规范化:

1.优化算法:/data/logs/,/data/logs/access,/data/logs/error,/data/logs/run

2.文件格式规定:严格管理应用json

3.命名规范:access_logerror_logruntime_logsystem_log

4.系统日志激光切割:按天，按钟头。浏览,不正确，程序流程系统日志按钟头，事件日志按天搜集。

5.初始文字:rsync消息推送NAS，后删掉近期三天前。

6.消息队列:浏览系统日志,载入Redis_DB6，不正确系统日志Redis_DB7,程序流程系统日志Redis_DB8

运维日志分析的注意事项二、工具化:

1.浏览系统日志Apache、Nginx、Tomcat(应用file软件)

2.不正确系统日志java系统日志、出现异常系统日志(应用mulitline几行软件)

3.事件日志/var/log/*、rsyslog(应用syslog)

4.操作日志程序流程载入的日志文件(可应用file软件或json软件)

5.网络日记服务器防火墙、网络交换机、无线路由(syslog软件)

运维日志分析的注意事项三、群集化:

1.每台ES上边都起动一个Kibana

2.Kibana都连自身的ES

3.前端开发Nginx三层交换机+认证,代理商至后端开发Kibana

4.根据消息队列来完成程序流程解耦及其高可用性等拓展

运维日志分析的注意事项四、监控器化:

1.对ES及其Kibana、开展监控器。假如服务项目DOWN妥善处理。

2.应用Redis的list做为ELKstack消息队列。

3.Redis的ListKey长短开展监控器(llenkey_name)。例:超出”十万”即警报(依据具体情况及其业务流程状况)

运维日志分析的注意事项五、迭代更新化:

1.开源系统日志分析系统服务平台:ELK、EFK、EHK、

2.数据采集解决:Flume、heka

3.消息队列:Redis、Rabbitmq、Kafka、Hadoop、webhdfs