博客 Devops运维沙龙杭州站

Devops运维沙龙杭州站

   包袋鼠   发表于 2021-11-25 15:52  828  0


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/0c606ef6e36c3abc68ed9b56f302f9d0..jpg

数据智能,让未来变成现在


6月30日,由袋鼠云技术团队主办的Devops运维沙龙在滨江跨星空间举办,现场由袋鼠云技术团队日志产品经理、阿里巴巴搜索事业部专家,阿里云Docker团队专家为大家带来三场干货满满的主题分享。同时也感谢养码场、高效运维社区、DBAPLUS、Elastic中文社区、阿里云、跨星空间、杭州创业大街、IT大咖说、活动行对本次活动的大力支持!


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/6b1b039ee910f5ba251e0c9ab38ef71e..jpg


本次回顾对现场提问进行记录~


Elasticsearch运维实践分享


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/3434bd16aae91943d3c2ecae4ad31cf4..jpg


赵汉青 

阿里巴巴集团搜索事业部 高级工程师


嘉宾介绍:

2014年硕士毕业于中国科学技术大学,曾就职于思科系统(中国)研发有限公司云服务部,本次主题针对Elasticsearch集群运维:监控,诊断,优化,升级进行详细的介绍,并向大家分享阿里云Elasticsearch服务。


Q1:日志介入的的日志格式有什么要求?日志总量时间长了无效日志如何处理?
A:支持所有文本类型的日志,不止是日志,所有文本格式的文件都可以,只要能通过采集工具采集上来。设置保存周期,无效日志rotation,主要rotation方式不要引起logstash重新收集老日志。


Q2:kafka版本推荐?kafka的监控工具和es的监控工具对性能的消耗如何?
A:一般都推荐最新版本,或者较新的版本,kafka的版本和es的版本是相对独立的,不存在什么版本的kafka一定要对应什么版本的es,所以都推荐最新的。
Es可以设置资源消耗,基本上都很小。
Kafka-manager,建议部署在独立的server上。


Q3:一个索引有30G数据,索引搜索延迟怎么处理?索引加一个字段,会新建索引嘛?
A:索引的延迟和索引的大小没有关系,分type,或者做一个路由,查询的时候限制一下大小。


Q4:logstash到kafka再到es,会不会延时比较大,业务有实时要求怎么办?
A:建议logstash直接写es,通过程序的api直接写入ES,把es的refresh_interval值调小。程序重点在采集端,es可以优化索引。


Q5:es数据迁移,高效的解决方案?迁移过程中涉及索引结构的调整。
A:快照,恢复到新集群。有数据在持续写入时,可以把新数据写入kafka,迁移完成后再消费kafka数据,可以保证数据不丢失。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/3ba27149a1700b47d6ce7f2f6c97535e..jpg


Q6:不能打入kafka怎么办?
A:双写,新数据也写入新集群,索引名字修改,填一个别名,可以保证连个索引同时被查到。


Q7:流量突然增大,如何保障集群的稳定性?
A;Failover到一个备用es集群,新数据写入新的集群,缓解数据堆积


Q8:ip地址的聚合查询会把es查挂,怎么处理?
A:建议需要聚合的数据处理好后再存es,启动doc_values参数


Q9:  集群扩容?大量写入时减小对集群的影响。
A:分片自动路由到新节点,建议多分一点分片


Q10:大量写入时,提高搜索能力,减小写入?
A:优化搜索,PPT索引优化,数据量一直大,可以通过扩容,业务有峰谷,可以通过调整参数。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/433ad6b788ece01d4ff5a5a721b7943b..jpg


企业日志中心建设思路


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/fda4992511ba30af7843eb49c626f738..jpg

南方   

袋鼠云日志产品经理


嘉宾介绍:

陈良春,现任袋鼠云日志产品经理。企业日志中心建设是一个整体和复杂的过程,本次主题南方将向大家分享袋鼠云日志产品在迭代过程踩过的坑,并通过什么样的方案去解决这些问题,同时向大家分享我们在天弘基金、新网银行中建设企业日志中心中的几个实践案例。


Q1:如何进行数据生命周期管理,冷数据,热数据如何处理?


A:数据接入云日志平台时可根据不同业务属性自定义数据源生命周期(较常用为7~15天),热数据即生命周期内可供实时查询、分析使用的数据,用于实时性较强的场景,冷数据则指到达生命周期后的历史数据,由于国家法规要求或特殊使用场景需做长时间保存,则可自动或主动选择性备份至指定文件系统(目前平台采用HDFS),并可由产品界面恢复至云日志平台继续使用;

Q2:logstash 重新写了有没有开源?相比与阿里云的日志产品有什么区别?

A :重写后的java版Logstash已经开源https://github.com/dtstack 
相比阿里云SLS,目前阶段袋鼠云日志也是提供SaaS的,轻量,可很便捷的满足线上客户较标准的日志分析场景,如web访问日志分析等等,但除此之外云日志拥有针对企业私有部署的版本,提供私有化日志平台建设,及企业业务日志解析、分析服务,帮助挖掘业务日志价值,提升业务系统故障发现及运维效率;

Q3:一个文件夹下有很多文件,是否支持正则匹配?java日志是否支持直接写入logstash?

A:支持通配符采集一个文件夹下多个文件,同时可支持采集按时间或大小等进行轮询的日志文件;云日志主要还是建议客户由采集端安装开始进行数据集成,因为云日志在源头会为用户供数据排序、打标、解析等操作,对后续的分类管理、使用都会带来便利,若存在特殊场景用户无法使用客户端进行接入,云日志也会提供API对数据进行接收/转发;

Q4:日志中心建设的成本考虑?我们产品是怎么做的?

A:成本方面云日志主要从三方面做考量,一是针对不同的数据使用场景,提供特定的数据处理链路、部署架构方案,如数据分析场景强烈,计算逻辑复杂,云日志选择性部署分析型数据或流计算插件以提升平台计算能力,反之分析型数据库或流计算组件不纳入集群范围,节省资源成本,二是针对数据实际价值,云日志支持用户选择性上传入库,降低无必要的成本,三是由数据存储膨胀率方面考虑,云日志对底层存储压缩比进行了优化,使数据压缩比率可达到2:1,降低存储成本;


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/3b71e184308f90bbdd4e5b0c09259048..jpg


Kubernetes日志实践


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/62aada023b3db1484a3518ca35f58cee..jpg

朱延生  

阿里云Docker团队专家


嘉宾介绍:

朱衍生,阿里云Docker团队专家。从第一代PaaS平台cloudfoundry到现在的kubernetes容器编排平台,一直从事关于容器云平台研发及解决方案相关工作。本次分享主要介绍容器原生日志输出到容器日志的自动发现与采集,以及高性能容器日志采集部署架构及性能测试。


Q1:单节点k8s集群容器个数的峰值?容器节点很多很多会不会撑爆服务器资源?

A:不能单独看容器节点的数量,要看资源的占用和使用,每个容器可以做一个资源的限制,根据应用需要的资源进行分配,就算某个容器资源耗尽,也只会耗尽分配限制的资源,对整个服务器的资源影响不会很大。


Q2:log—pilot是什么语言写的?

A:go语言写的,开源的。


Q3:假设有3个服务,每个占用资源2C4G,是把三个服务放在一个容器还是三个容器?

A:常规下是一个节点一个应用,应该分配合适的资源规格给相应的应用。这样才能做到应用部署之间不会产生耦合,方便高可用部署。


Q4:阿里云的网络隔离是怎么做的?如何从外部访问容器平台上的应用?
A:第一个问题,阿里云通过VPC网络进行各个租户间的网络隔离,容器平台上我们也可以支持多种网络插件,而且还有我们自研的网络插件terway,能够进行networkpolicy和流控等方面的配置;
第二个问题,阿里云容器服务平台上的容器都可以通SLB或者NodePort及service的形式提供对外服务访问,在应用创建或创建后都可以进行配置。


Q5:log-pilot和阿里云日志服务有什么区别?
A :log-pilot主要是一个日志采集的agent,采集的数据可以传递到阿里云日志服务。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/eadbc82fbb422d5a7d4dd99dbdc77233..jpg


Q6:支持哪些server端?

A:log-pilot支持fluentd和filebeat两种插件,
 fluentd支持的后端包括:graylog, sls, mongo,file, kafka, elasticsearch等;
 filebeat支持的后端包括:kafka,elasticsearch,logstash,redis等;

Q7:阿里云的k8s弹性扩容时遇到一个问题?添加一个节点调用资源的的超时
A:这个可能是多个因素造成的,需要debug,没办法回答具体原因,哈哈哈


Q8:如何将原有的数据库较好的接入阿里云kubernetes服务平台?
A:我们提供service broker的形式将客户已有的服务比如数据库等接入到阿里云容器服务平台。


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user9/article/c1074a9a304de4f4e16d1bcb368f3563..jpg



0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群