数据智能，让未来变成现在

6月30日，由袋鼠云技术团队主办的Devops运维沙龙在滨江跨星空间举办，现场由袋鼠云技术团队日志产品经理、阿里巴巴搜索事业部专家，阿里云Docker团队专家为大家带来三场干货满满的主题分享。同时也感谢养码场、高效运维社区、DBAPLUS、Elastic中文社区、阿里云、跨星空间、杭州创业大街、IT大咖说、活动行对本次活动的大力支持！

本次回顾对现场提问进行记录～

Elasticsearch运维实践分享

赵汉青 

阿里巴巴集团搜索事业部 高级工程师

嘉宾介绍：

2014年硕士毕业于中国科学技术大学，曾就职于思科系统(中国)研发有限公司云服务部，本次主题针对Elasticsearch集群运维：监控，诊断，优化，升级进行详细的介绍，并向大家分享阿里云Elasticsearch服务。

Q1：日志介入的的日志格式有什么要求？日志总量时间长了无效日志如何处理？
A：支持所有文本类型的日志，不止是日志，所有文本格式的文件都可以，只要能通过采集工具采集上来。设置保存周期，无效日志rotation，主要rotation方式不要引起logstash重新收集老日志。

Q2：kafka版本推荐？kafka的监控工具和es的监控工具对性能的消耗如何？
A：一般都推荐最新版本,或者较新的版本，kafka的版本和es的版本是相对独立的，不存在什么版本的kafka一定要对应什么版本的es,所以都推荐最新的。
Es可以设置资源消耗，基本上都很小。
Kafka-manager，建议部署在独立的server上。

Q3：一个索引有30G数据，索引搜索延迟怎么处理？索引加一个字段，会新建索引嘛？
A：索引的延迟和索引的大小没有关系，分type，或者做一个路由，查询的时候限制一下大小。

Q4：logstash到kafka再到es，会不会延时比较大，业务有实时要求怎么办？
A：建议logstash直接写es，通过程序的api直接写入ES，把es的refresh_interval值调小。程序重点在采集端，es可以优化索引。

Q5：es数据迁移，高效的解决方案？迁移过程中涉及索引结构的调整。
A：快照，恢复到新集群。有数据在持续写入时，可以把新数据写入kafka,迁移完成后再消费kafka数据，可以保证数据不丢失。

Q6：不能打入kafka怎么办？
A：双写，新数据也写入新集群，索引名字修改，填一个别名，可以保证连个索引同时被查到。

Q7：流量突然增大，如何保障集群的稳定性？
A；Failover到一个备用es集群，新数据写入新的集群，缓解数据堆积

Q8：ip地址的聚合查询会把es查挂，怎么处理？
A：建议需要聚合的数据处理好后再存es，启动doc_values参数

Q9：  集群扩容？大量写入时减小对集群的影响。
A：分片自动路由到新节点，建议多分一点分片

Q10：大量写入时，提高搜索能力，减小写入？
A：优化搜索，PPT索引优化，数据量一直大，可以通过扩容，业务有峰谷，可以通过调整参数。

企业日志中心建设思路

南方   

袋鼠云日志产品经理

嘉宾介绍：

陈良春，现任袋鼠云日志产品经理。企业日志中心建设是一个整体和复杂的过程，本次主题南方将向大家分享袋鼠云日志产品在迭代过程踩过的坑，并通过什么样的方案去解决这些问题，同时向大家分享我们在天弘基金、新网银行中建设企业日志中心中的几个实践案例。

Q1：如何进行数据生命周期管理，冷数据，热数据如何处理？

A：数据接入云日志平台时可根据不同业务属性自定义数据源生命周期（较常用为7～15天），热数据即生命周期内可供实时查询、分析使用的数据，用于实时性较强的场景，冷数据则指到达生命周期后的历史数据，由于国家法规要求或特殊使用场景需做长时间保存，则可自动或主动选择性备份至指定文件系统（目前平台采用HDFS），并可由产品界面恢复至云日志平台继续使用；

Q2：logstash 重新写了有没有开源？相比与阿里云的日志产品有什么区别？

A ：重写后的java版Logstash已经开源https://github.com/dtstack 
相比阿里云SLS，目前阶段袋鼠云日志也是提供SaaS的，轻量，可很便捷的满足线上客户较标准的日志分析场景，如web访问日志分析等等，但除此之外云日志拥有针对企业私有部署的版本，提供私有化日志平台建设，及企业业务日志解析、分析服务，帮助挖掘业务日志价值，提升业务系统故障发现及运维效率；

Q3：一个文件夹下有很多文件，是否支持正则匹配？java日志是否支持直接写入logstash？

A：支持通配符采集一个文件夹下多个文件，同时可支持采集按时间或大小等进行轮询的日志文件；云日志主要还是建议客户由采集端安装开始进行数据集成，因为云日志在源头会为用户供数据排序、打标、解析等操作，对后续的分类管理、使用都会带来便利，若存在特殊场景用户无法使用客户端进行接入，云日志也会提供API对数据进行接收/转发；

Q4：日志中心建设的成本考虑？我们产品是怎么做的？

A：成本方面云日志主要从三方面做考量，一是针对不同的数据使用场景，提供特定的数据处理链路、部署架构方案，如数据分析场景强烈，计算逻辑复杂，云日志选择性部署分析型数据或流计算插件以提升平台计算能力，反之分析型数据库或流计算组件不纳入集群范围，节省资源成本，二是针对数据实际价值，云日志支持用户选择性上传入库，降低无必要的成本，三是由数据存储膨胀率方面考虑，云日志对底层存储压缩比进行了优化，使数据压缩比率可达到2:1，降低存储成本；

Kubernetes日志实践

朱延生  

阿里云Docker团队专家

嘉宾介绍：

朱衍生，阿里云Docker团队专家。从第一代PaaS平台cloudfoundry到现在的kubernetes容器编排平台，一直从事关于容器云平台研发及解决方案相关工作。本次分享主要介绍容器原生日志输出到容器日志的自动发现与采集，以及高性能容器日志采集部署架构及性能测试。

Q1：单节点k8s集群容器个数的峰值？容器节点很多很多会不会撑爆服务器资源？

A：不能单独看容器节点的数量，要看资源的占用和使用，每个容器可以做一个资源的限制，根据应用需要的资源进行分配，就算某个容器资源耗尽，也只会耗尽分配限制的资源，对整个服务器的资源影响不会很大。

Q2：log—pilot是什么语言写的？

A：go语言写的，开源的。

Q3：假设有3个服务，每个占用资源2C4G，是把三个服务放在一个容器还是三个容器？

A：常规下是一个节点一个应用，应该分配合适的资源规格给相应的应用。这样才能做到应用部署之间不会产生耦合，方便高可用部署。

Q4：阿里云的网络隔离是怎么做的？如何从外部访问容器平台上的应用？
A：第一个问题，阿里云通过VPC网络进行各个租户间的网络隔离，容器平台上我们也可以支持多种网络插件，而且还有我们自研的网络插件terway，能够进行networkpolicy和流控等方面的配置；
第二个问题，阿里云容器服务平台上的容器都可以通SLB或者NodePort及service的形式提供对外服务访问，在应用创建或创建后都可以进行配置。

Q5：log-pilot和阿里云日志服务有什么区别？
A :log-pilot主要是一个日志采集的agent，采集的数据可以传递到阿里云日志服务。

Q6:支持哪些server端？

A：log-pilot支持fluentd和filebeat两种插件，
 fluentd支持的后端包括:graylog, sls, mongo,file, kafka, elasticsearch等；
 filebeat支持的后端包括：kafka，elasticsearch，logstash，redis等；

Q7：阿里云的k8s弹性扩容时遇到一个问题？添加一个节点调用资源的的超时
A：这个可能是多个因素造成的，需要debug，没办法回答具体原因，哈哈哈

Q8：如何将原有的数据库较好的接入阿里云kubernetes服务平台？
A：我们提供service broker的形式将客户已有的服务比如数据库等接入到阿里云容器服务平台。