博客 异常处理-k8s-节点异常

异常处理-k8s-节点异常

   数栈君   发表于 2023-09-07 10:44  1422  0

现象1:IPVS:rr:TCP 10.68.0.2:53 - no destination available

●节点状态:NotReady

●服务器不断打印:

IPVS:rr:TCP 10.68.0.2:53 - no destination available
IPVS:rr:UDP 10.68.0.2:53 - no destination available
猜想:
ipvs的ip没有轮询到

操作

1.查看ipvs里面是否有这个ip
ipvsadm -Ln | grep 10.68.0.2

有返回结果,说明ipvs里面有这个ip


2.查看svc中是否有这个ip
kubectl get svc -A | grep 10.68.0.2
有返回结果,说明有对应这个ip的svc

3.删除对应svc资源
kubectl delete svc -n kube-system kube-dns

4.重启服务器
重启服务器后服务器正常,但此时k8s集群缺少kube-system名称空间下kube-dns的svc资源

5.手动执行脚本进行创建缺少的svc资源
kubectl apply -f /etc/kubeasz/clusters/k8s-01/yml/coredns.yaml
等待一段时间后,集群节点状态以及服务恢复正常

现象2:cannot allocate memory

●pod状态:ContainerCreating

●节点状态:Ready

●describe pod:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/a5074f0437dc7ad1d841b3c073ebe7e7..jpg
  
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/23f5323b1d158a63d340da827371a7dd..png



节点实际内存:
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/63be7f6b9a115e6abfcc635f7fae3205..jpg
  

Kubernetes中Cgroup泄露的问题(Cgroup文档:https://www.kernel.org/doc/Documentation/cgroup-v1/memory.txt)
绝大多数的kubernetes集群都有这个隐患。只不过一般情况下,泄漏得比较慢,还没有表现出来而已。
一个pod可能泄漏两个memory cgroup数量配额。即使pod百分之百发生泄漏, 那也需要一个节点销毁过三万多个pod之后,才会造成后续pod创建失败。
一旦表现出来,这个节点就彻底不可用了,必须重启才能恢复

解决

重启机器



免责申明:


本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:
https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:
https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack


0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群