运维开发

运维开发

Hive优化之监控

技术共享沸羊羊 发表了文章 • 0 个评论 • 577 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身... ...查看全部

Hive优化之Spark执行引擎的参数优化

技术共享沸羊羊 发表了文章 • 0 个评论 • 520 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hiv... ...查看全部

数据治理对运维数据体系的思考

网友分享数栈君 发表了文章 • 0 个评论 • 897 次浏览 • 2023-06-30 17:33 • 来自相关话题

前言今天,领先的数字原生企业不断用数字化手段颠覆传统行业,传统行业内领先的企业也在积极拥抱数字化,国家也适时的将“数据”列为生产要素参与分配,推动了以数据为关键要素的数字经济进入了新时代。站在企业内运营后台的运维部门,运维属于数据密集型工作,团队的价值创造都是... ...查看全部

数据中心运维操作标准及流程

网友分享数栈君 发表了文章 • 0 个评论 • 1724 次浏览 • 2023-06-30 17:33 • 来自相关话题

1  机房运维管理前期准备1.1 管理目标机房基础设施运维团队应与业主管理层、IT部门、相关业务部门共同讨论确定运维管理目标。制定目标时,应综合考虑机房所支持的应用的可用性要求、机房基础设施设施的等级、容量等因素。目标宜包括可用性目标、能效目标、可以用服务等级... ...查看全部

一文概述运维数据的变现历程

网友分享数栈君 发表了文章 • 0 个评论 • 429 次浏览 • 2023-06-30 17:31 • 来自相关话题

运维数据的规模和企业规模、业务形态和运维能力有很大的关系,根据信通院的《企业IT运维发展白皮书》中所述,企业规模越大、业务形态越复杂、运维能力越高的企业,运维所纳管的数据越多,运维数据变现的效果越好,相对应的,运维数据建设的层次越高,通常使用较为前沿的大数据和... ...查看全部

从宏观,微观和岗位属性来理解为什么要做数据库运维系统?

网友分享数栈君 发表了文章 • 0 个评论 • 393 次浏览 • 2023-06-30 17:30 • 来自相关话题

宏观宏观层面,数据库的相关服务管理模式也在从运维视角逐步转化为运营视角,公有云毫无疑问早就买迈过了这一步。运维视角大体是从稳定、安全、高效来着手的,而运营视角则更多是从质量、效率和成本这几个维度来考量的。维度不同,目的不同,所做的事情就大大不同。 微观 从微观... ...查看全部

一文概述数据中心运维分类

网友分享数栈君 发表了文章 • 0 个评论 • 474 次浏览 • 2023-06-30 17:29 • 来自相关话题

某数据中心运维团队将根据当前数据中心的实际情况和对应的管理制度,通过主动性、预防性维护,执行日常维护作业计划,对告警、性能、运行状态进行检查分析,及时进行数据备份,并定期对备份数据进行恢复性测试验证,对系统运行质量进行分析,并进行维护记录。对监控或维护中发现的... ...查看全部

如何胜任大数据运维工程师?

网友分享数栈君 发表了文章 • 0 个评论 • 424 次浏览 • 2023-06-30 17:28 • 来自相关话题

01什么是大数据运维?首先,我先说一下整个软件的生命周期,大概会经历以下几个阶段:售前的阶段。这一块基本上就是甲方跟乙方两个进行洽谈,确认甲方需要什么东西,乙方做需求的确认,确认好需求之后,就由架构师根据需求来设计软件。要什么样的平台、什么样的组件、性能情况、... ...查看全部

浅谈大数据运维

网友分享数栈君 发表了文章 • 0 个评论 • 993 次浏览 • 2023-06-30 17:26 • 来自相关话题

01背景随着互联网的普及,人们几乎每天都在上网,因此上网产生的数据量也越来越大。数据作为一种新型资产,可从中挖取不少的价值。但面对超大规模、复杂类型的数据传统的数据库难以满足存储及处理的要求,需要借助大数据平台进行存储及处理。02大数据平台介绍大数据平台底层组... ...查看全部

大数据平台搭建运维

知识百科沸羊羊 发表了文章 • 0 个评论 • 672 次浏览 • 2023-06-06 11:40 • 来自相关话题

随着大数据技术的快速发展和广泛应用,越来越多企业开始构建自己的大数据平台。本文将介绍大数据平台搭建运维的关键步骤和最佳实践,帮助企业更好地实现大数据战略。首先,明确目标场景是大数据平台搭建的第一步。企业需要根据业务需求和数据特点来确定平台的功能和性能指标,以确... ...查看全部

Hive优化之监控

技术共享沸羊羊 发表了文章 • 0 个评论 • 577 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身... ...查看全部

Hive优化之Spark执行引擎的参数优化

技术共享沸羊羊 发表了文章 • 0 个评论 • 520 次浏览 • 2024-02-02 15:39 • 来自相关话题

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hiv... ...查看全部

数据治理对运维数据体系的思考

网友分享数栈君 发表了文章 • 0 个评论 • 897 次浏览 • 2023-06-30 17:33 • 来自相关话题

前言今天,领先的数字原生企业不断用数字化手段颠覆传统行业,传统行业内领先的企业也在积极拥抱数字化,国家也适时的将“数据”列为生产要素参与分配,推动了以数据为关键要素的数字经济进入了新时代。站在企业内运营后台的运维部门,运维属于数据密集型工作,团队的价值创造都是... ...查看全部

数据中心运维操作标准及流程

网友分享数栈君 发表了文章 • 0 个评论 • 1724 次浏览 • 2023-06-30 17:33 • 来自相关话题

1  机房运维管理前期准备1.1 管理目标机房基础设施运维团队应与业主管理层、IT部门、相关业务部门共同讨论确定运维管理目标。制定目标时,应综合考虑机房所支持的应用的可用性要求、机房基础设施设施的等级、容量等因素。目标宜包括可用性目标、能效目标、可以用服务等级... ...查看全部

一文概述运维数据的变现历程

网友分享数栈君 发表了文章 • 0 个评论 • 429 次浏览 • 2023-06-30 17:31 • 来自相关话题

运维数据的规模和企业规模、业务形态和运维能力有很大的关系,根据信通院的《企业IT运维发展白皮书》中所述,企业规模越大、业务形态越复杂、运维能力越高的企业,运维所纳管的数据越多,运维数据变现的效果越好,相对应的,运维数据建设的层次越高,通常使用较为前沿的大数据和... ...查看全部

从宏观,微观和岗位属性来理解为什么要做数据库运维系统?

网友分享数栈君 发表了文章 • 0 个评论 • 393 次浏览 • 2023-06-30 17:30 • 来自相关话题

宏观宏观层面,数据库的相关服务管理模式也在从运维视角逐步转化为运营视角,公有云毫无疑问早就买迈过了这一步。运维视角大体是从稳定、安全、高效来着手的,而运营视角则更多是从质量、效率和成本这几个维度来考量的。维度不同,目的不同,所做的事情就大大不同。 微观 从微观... ...查看全部

一文概述数据中心运维分类

网友分享数栈君 发表了文章 • 0 个评论 • 474 次浏览 • 2023-06-30 17:29 • 来自相关话题

某数据中心运维团队将根据当前数据中心的实际情况和对应的管理制度,通过主动性、预防性维护,执行日常维护作业计划,对告警、性能、运行状态进行检查分析,及时进行数据备份,并定期对备份数据进行恢复性测试验证,对系统运行质量进行分析,并进行维护记录。对监控或维护中发现的... ...查看全部

如何胜任大数据运维工程师?

网友分享数栈君 发表了文章 • 0 个评论 • 424 次浏览 • 2023-06-30 17:28 • 来自相关话题

01什么是大数据运维?首先,我先说一下整个软件的生命周期,大概会经历以下几个阶段:售前的阶段。这一块基本上就是甲方跟乙方两个进行洽谈,确认甲方需要什么东西,乙方做需求的确认,确认好需求之后,就由架构师根据需求来设计软件。要什么样的平台、什么样的组件、性能情况、... ...查看全部

浅谈大数据运维

网友分享数栈君 发表了文章 • 0 个评论 • 993 次浏览 • 2023-06-30 17:26 • 来自相关话题

01背景随着互联网的普及,人们几乎每天都在上网,因此上网产生的数据量也越来越大。数据作为一种新型资产,可从中挖取不少的价值。但面对超大规模、复杂类型的数据传统的数据库难以满足存储及处理的要求,需要借助大数据平台进行存储及处理。02大数据平台介绍大数据平台底层组... ...查看全部

大数据平台搭建运维

知识百科沸羊羊 发表了文章 • 0 个评论 • 672 次浏览 • 2023-06-06 11:40 • 来自相关话题

随着大数据技术的快速发展和广泛应用,越来越多企业开始构建自己的大数据平台。本文将介绍大数据平台搭建运维的关键步骤和最佳实践,帮助企业更好地实现大数据战略。首先,明确目标场景是大数据平台搭建的第一步。企业需要根据业务需求和数据特点来确定平台的功能和性能指标,以确... ...查看全部