大数据运维

大数据运维

从初级到高级:全面掌握Hive数据仓库的运维管理

知识百科数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 3 天前 • 来自相关话题

SQL Server优化入门系列——性能计数器(performance counter)

技术共享数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2024-02-05 11:16 • 来自相关话题

说明Performance Counter是windows系统中通用的性能分析工具。Windows OS和SQL Server暴露了很多Performance Counter,可用户分析整个系统的运行情况。performance counter结合等待事件一起... ...查看全部

SQL Server优化入门系列——等待事件

技术共享数栈君 发表了文章 • 0 个评论 • 41 次浏览 • 2024-02-05 11:13 • 来自相关话题

这里,我们将介绍如何通过等待事件来优化数据库。说明用户的SQL提交给服务器后,以TASK的形式运行。Task运行过程中,可能在多个状态之间转换,可能会等待某些资源(如IO、网络请求、锁、内存分配),通过等待事件,可以分析服务器在不同资源上消耗的时间,有助于了解... ...查看全部

Linux系统调优参数应用实践

技术共享数栈君 发表了文章 • 0 个评论 • 52 次浏览 • 2024-02-05 11:12 • 来自相关话题

1 基于内存方面的性能参数调优1.1 cache与buffer解读1.1.1 cache出现的原因与功能计算机硬件中CPU、内存、磁盘是最主要的三大部分,其中,CPU发展到今天,执行速度最快,而内存相对CPU而言,就慢多了,CPU执行的指令是从内存取出的,计算... ...查看全部

Hive优化之监控

技术共享沸羊羊 发表了文章 • 0 个评论 • 34 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身... ...查看全部

Hive优化之Spark执行引擎的参数优化

技术共享沸羊羊 发表了文章 • 0 个评论 • 36 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hiv... ...查看全部

SQL Server性能优化初探:聚焦阻塞SQL,快速定位与解决之道

技术共享数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-01-31 10:37 • 来自相关话题

引言我们在运维数据库的时候,经常会面对这样的问题:数据库现在运行得怎么样有哪些会话在执行,当前状态是什么,在执行什么SQL哪些会话被阻塞,阻塞原因是什么会话是从哪些IP连接过来的,使用了什么账号通过这篇文章介绍的方法,我们可以快速找到SQL Server中正在... ...查看全部

实战指南:排查服务器CPU过高问题,揪出幕后进程

技术共享数栈君 发表了文章 • 0 个评论 • 31 次浏览 • 2024-01-31 10:32 • 来自相关话题

背景节点报CPU使用率高,需要定位是什么进程占用CPU使用率高。CPU使用率持续较高在对应节点使用 “top”命令,然后键盘输入“P”,即按照CPU使用率排序进程。执行ps -ef | grep 使用率高的pid>。确认该进程的详细信息,确认该进程的日志... ...查看全部

Flink Watermark和时间语义

知识百科数栈君 发表了文章 • 0 个评论 • 32 次浏览 • 2024-01-29 11:35 • 来自相关话题

MySQL排障实战(一)—— 连接异常中断丨运维实战

技术共享数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2024-01-29 11:33 • 来自相关话题

问题背景数栈数据质量模块,接入客户的数据源后,一执行就报错。报错信息:{"logInfo": {{"jobid":"1a4ebbbd","msg_info":"2021-12-20 14:23:54:submit job is success"}} "engi... ...查看全部

袋鼠云亮相博鳌亚洲论坛全球经济发展与安全论坛,亚运安保数字孪生备受关注

公司动态数栈君 发表了文章 • 0 个评论 • 166 次浏览 • 2023-11-03 10:21 • 来自相关话题

10月29日,博鳌亚洲论坛全球经济发展与安全论坛(以下简称“博鳌经安论坛”)第二届大会博览会在长沙国际会展中心开幕。博鳌经安论坛是博鳌亚洲论坛框架下的专题会议,致力于为国际社会深入交流经济创新发展与安全议题搭建全球性平台,服务亚洲和全球经济发展,促进国际社会安... ...查看全部

大数据应用场景下,标签策略如何实现价值最大化?

产品交流小美 发表了文章 • 0 个评论 • 399 次浏览 • 2023-02-21 17:43 • 来自相关话题

如今,各行各业都已经意识到了数据的价值,开始沉淀数据资产,挖掘数据价值,但是数据本身其实是很难直观地看到其价值的。数据就是存储在计算机系统的“01”代码,如果你不去用它,能有什么价值?正如美国哈佛大学教授格林先生所说:数据本身并不等于知识,更不是智慧,只有经过... ...查看全部

一看就懂!任务提交的资源判断在Taier中的实践

Taier小美 发表了文章 • 0 个评论 • 314 次浏览 • 2023-02-01 10:17 • 来自相关话题

Taier 介绍Taier 是袋鼠云开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工... ...查看全部

2022年度回顾丨感谢纷至沓来,客户的认可是我们前进的动力

公司动态小美 发表了文章 • 0 个评论 • 339 次浏览 • 2023-01-18 14:02 • 来自相关话题

弹指之间,时光已步入2023年,在过去的一年里,作为数字化浪潮的弄潮儿,袋鼠云积极投身其中,收获了累累硕果与行业赞誉,签约及续签客户再创新高,与众多生态伙伴达成合作。同时,袋鼠云还收到多家客户的感谢信,感谢客户的信任,客户的认可是我们前进的动力,一起看看客户对... ...查看全部

2022年度回顾 | 互信共生,共创共赢,一览袋鼠云生态合作成果

公司动态小美 发表了文章 • 0 个评论 • 415 次浏览 • 2023-01-18 14:01 • 来自相关话题

弹指之间,时光已步入2023年。过去的一年,是“飞跃计划”迅猛发展的一年,袋鼠云吸纳了更多的合作伙伴,在各个行业领域都有所建树。2022年度回顾系列从大事件、荣誉资质、签约客户、生态成果等层面,为大家一一呈现我们的“2022年成绩单”。疫情加速了数字化普及进程... ...查看全部

2022年度回顾丨实力认可,细说这一年我们签约的重点客户

公司动态小美 发表了文章 • 0 个评论 • 282 次浏览 • 2023-01-18 13:59 • 来自相关话题

弹指之间,时光已步入2023年。在过去的一年里,面对复杂多变的内外部环境,作为企业数字化转型的引领者,袋鼠云凭借领先的行业经验、优秀的产品能力及过硬的技术实力,签约及续签客户数量再创新高,在金融、政府及公共事业、港口、大型集团、制造、航空航天、教育、零售等行业... ...查看全部

chengying组件已经部署好了,现在加服务器了,想把组件里面的某个服务扩展,需要把这个组件里面的所有服务都重新部署吗

ChengYing群内解答 回复了问题 • 1 人关注 • 1 个回复 • 379 次浏览 • 2022-12-01 19:55 • 来自相关话题

ChengYing的这个错误是因为什么

ChengYing群内解答 回复了问题 • 1 人关注 • 1 个回复 • 432 次浏览 • 2022-11-23 10:41 • 来自相关话题

不懂什么是云原生?看完这篇文章就够了!

技术共享花袋鼠 发表了文章 • 0 个评论 • 736 次浏览 • 2021-11-04 12:03 • 来自相关话题

“云原生”,很多人会对这个新名词感到困惑,到底什么是云原生,云原生又能给我们带来什么呢?其实云原生的概念最早是由来自Pivotal的MattStine于2013年首次提出,这是他根据自身多年的架构和咨询经验总结出来的一个思想集合,得到了开源社区的不断完善,并被... ...查看全部

麻烦问下 部署chengying的时候 已经上传了安装包 但是部署组件服务时确不显示这个安装包是什么原因?

回复

ChengYing群内解答 回复了问题 • 1 人关注 • 2 个回复 • 220 次浏览 • 2023-05-12 11:08 • 来自相关话题

Taier在系统界面上有配置分区,分区也创建了,数据文件也生成了,但是表中就是查不到数据,要手动做更新才可以

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 290 次浏览 • 2023-02-15 11:17 • 来自相关话题

Chengying部署时候很慢,经常部署失败,日志那个错什么意思

回复

ChengYing匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 259 次浏览 • 2023-02-02 10:29 • 来自相关话题

chengying能离线部署么, 没有网络环境

回复

ChengYing群内解答 回复了问题 • 1 人关注 • 1 个回复 • 338 次浏览 • 2022-12-13 09:59 • 来自相关话题

在ChengYing的使用过程中,请问 agent报错是怎么解决

回复

ChengYing群内解答 回复了问题 • 1 人关注 • 1 个回复 • 348 次浏览 • 2022-11-28 11:27 • 来自相关话题

ChengYing的这个错误是因为什么

回复

ChengYing群内解答 回复了问题 • 1 人关注 • 1 个回复 • 432 次浏览 • 2022-11-23 10:41 • 来自相关话题

从初级到高级:全面掌握Hive数据仓库的运维管理

知识百科数栈君 发表了文章 • 0 个评论 • 10 次浏览 • 3 天前 • 来自相关话题

SQL Server优化入门系列——性能计数器(performance counter)

技术共享数栈君 发表了文章 • 0 个评论 • 43 次浏览 • 2024-02-05 11:16 • 来自相关话题

说明Performance Counter是windows系统中通用的性能分析工具。Windows OS和SQL Server暴露了很多Performance Counter,可用户分析整个系统的运行情况。performance counter结合等待事件一起... ...查看全部

SQL Server优化入门系列——等待事件

技术共享数栈君 发表了文章 • 0 个评论 • 41 次浏览 • 2024-02-05 11:13 • 来自相关话题

这里,我们将介绍如何通过等待事件来优化数据库。说明用户的SQL提交给服务器后,以TASK的形式运行。Task运行过程中,可能在多个状态之间转换,可能会等待某些资源(如IO、网络请求、锁、内存分配),通过等待事件,可以分析服务器在不同资源上消耗的时间,有助于了解... ...查看全部

Linux系统调优参数应用实践

技术共享数栈君 发表了文章 • 0 个评论 • 52 次浏览 • 2024-02-05 11:12 • 来自相关话题

1 基于内存方面的性能参数调优1.1 cache与buffer解读1.1.1 cache出现的原因与功能计算机硬件中CPU、内存、磁盘是最主要的三大部分,其中,CPU发展到今天,执行速度最快,而内存相对CPU而言,就慢多了,CPU执行的指令是从内存取出的,计算... ...查看全部

Hive优化之监控

技术共享沸羊羊 发表了文章 • 0 个评论 • 34 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身... ...查看全部

Hive优化之Spark执行引擎的参数优化

技术共享沸羊羊 发表了文章 • 0 个评论 • 36 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hiv... ...查看全部

SQL Server性能优化初探:聚焦阻塞SQL,快速定位与解决之道

技术共享数栈君 发表了文章 • 0 个评论 • 37 次浏览 • 2024-01-31 10:37 • 来自相关话题

引言我们在运维数据库的时候,经常会面对这样的问题:数据库现在运行得怎么样有哪些会话在执行,当前状态是什么,在执行什么SQL哪些会话被阻塞,阻塞原因是什么会话是从哪些IP连接过来的,使用了什么账号通过这篇文章介绍的方法,我们可以快速找到SQL Server中正在... ...查看全部

实战指南:排查服务器CPU过高问题,揪出幕后进程

技术共享数栈君 发表了文章 • 0 个评论 • 31 次浏览 • 2024-01-31 10:32 • 来自相关话题

背景节点报CPU使用率高,需要定位是什么进程占用CPU使用率高。CPU使用率持续较高在对应节点使用 “top”命令,然后键盘输入“P”,即按照CPU使用率排序进程。执行ps -ef | grep 使用率高的pid>。确认该进程的详细信息,确认该进程的日志... ...查看全部

Flink Watermark和时间语义

知识百科数栈君 发表了文章 • 0 个评论 • 32 次浏览 • 2024-01-29 11:35 • 来自相关话题

MySQL排障实战(一)—— 连接异常中断丨运维实战

技术共享数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2024-01-29 11:33 • 来自相关话题

问题背景数栈数据质量模块,接入客户的数据源后,一执行就报错。报错信息:{"logInfo": {{"jobid":"1a4ebbbd","msg_info":"2021-12-20 14:23:54:submit job is success"}} "engi... ...查看全部