大数据计算引擎EasyMR

大数据计算引擎EasyMR

三种熔断策略在数据服务API中的实践应用

产品交流数栈君 发表了文章 • 0 个评论 • 263 次浏览 • 2024-11-28 15:29 • 来自相关话题

熔断策略的概念最早可以追溯到电力系统中的保险丝。当电流过大时,保险丝会自动熔断,以防止电器设备因过载而损坏。这种简单而有效的保护机制为后来软件系统中的熔断策略提供了灵感。在软件系统中,熔断策略的工作原理类似,旨在通过监测服务调用的状态来决定是否允许请求继续发送... ...查看全部

Pyspark中pyspark.sql.functions常用方法(1)

网友分享数栈君 发表了文章 • 0 个评论 • 250 次浏览 • 2024-11-28 10:38 • 来自相关话题

pyspark sql functions(1)spark.rangeSpark的range()函数用于生成一个指定范围内的连续整数序列具体来说,range(start, end, step)函数接受三个参数:start:序列的起始值。end:序列的结束值(不... ...查看全部

Pyspark DataFrame中Column使用

网友分享数栈君 发表了文章 • 0 个评论 • 245 次浏览 • 2024-11-28 10:30 • 来自相关话题

pyspark dataframe Columnalias 重命名列(name)df = spark.createDataFrame( [(2, "Alice"), (5, "Bob")], ["age", "name"])df.select(df.a... ...查看全部

11月28日直播预告:如何建设开放可控的企业大数据平台丨袋鼠云“数智基建+数智应用”赋能分享01期

活动动态数栈君 发表了文章 • 0 个评论 • 298 次浏览 • 2024-11-27 14:39 • 来自相关话题

不久前,袋鼠云成功举办了以“AI驱动,数智未来”为主题的2024年秋季发布会。此次发布会聚焦于如何借助AI技术实现企业的新一轮飞跃,重塑企业的经营管理模式,加速数智化进程。会上,袋鼠云围绕“数智基建+数智应用”进行了深入的分享,引发了与会者和业界的广泛关注和热... ...查看全部

优化数据处理效率,解读 EasyMR 大数据组件升级

产品交流数栈君 发表了文章 • 0 个评论 • 396 次浏览 • 2024-07-31 15:03 • 来自相关话题

EasyMR 作为袋鼠云基于云原生技术和 Hadoop、Hive、Spark、Flink、Hbase、Presto 等开源大数据组件构建的弹性计算引擎。此前,我们已就其展开了多方位、多角度的详尽介绍。而此次,我们成功接入了大数据组件的升级和回滚功能,能够借助 ... ...查看全部

EasyMR 基于国产化信创的适配实践技术详解

产品交流数栈君 发表了文章 • 0 个评论 • 416 次浏览 • 2024-05-23 11:44 • 来自相关话题

国产化信创,即采用国产信息技术产品和服务,构建自主可控的信息技术体系。近年来,随着国家对网络安全和信息安全的重视程度不断提高,国产化信创已经成为国家战略的重要组成部分,并呈现出以下大趋势:● 政策驱动,加速发展国家出台了一系列政策法规,大力支持国产化信创产业发... ...查看全部

EasyMR:为 AI 未来赋能,打造弹性大数据引擎的革命

产品交流数栈君 发表了文章 • 0 个评论 • 500 次浏览 • 2024-01-09 17:53 • 来自相关话题

如果要评一个2023科技圈的热搜榜,那么以人工智能聊天机器人 ChatGPT 为代表的 AI大模型 绝对会霸榜整个2023。ChatGPT 于2022年11月30日发布。产品发布5日,注册用户数就超过100万。推出仅两个月后,它在2023年1月末的月活用户已经... ...查看全部

干货|EasyMR 基于 Kubernetes 应用的监控实践

产品交流数栈君 发表了文章 • 0 个评论 • 360 次浏览 • 2024-01-04 10:27 • 来自相关话题

在之前的内容中,我们深入探讨了 EasyMR 如何利用 Kubernetes 进行部署。大家已经了解到,在 EasyMR 的整体架构中,我们使用 Prometheus 进行节点和服务监控数据的采集、查询和存储。同时,Grafana 作为强大的可视化工具,将 P... ...查看全部

灵活、可用、高扩展,EasyMR 带来全新 Yarn 的队列管理功能及可视化配置

产品交流数栈君 发表了文章 • 0 个评论 • 581 次浏览 • 2023-10-26 11:22 • 来自相关话题

YARN(Yet Another Resource Negotiator)是 Hadoop 生态系统中的资源调度器,主要用于资源管理和作业调度。YARN 自身具备队列管理功能,通过对 YARN 资源队列进行配置和管理,实现集群资源的分配,以满足不同应用和用户的... ...查看全部

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

产品交流数栈君 发表了文章 • 0 个评论 • 890 次浏览 • 2023-08-31 17:46 • 来自相关话题

设想一下,作为一个开发人员,你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表,B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底应该如何分配资源满足这两个任务呢?是先执行A的任务,再执行B... ...查看全部

11月28日直播预告:如何建设开放可控的企业大数据平台丨袋鼠云“数智基建+数智应用”赋能分享01期

活动动态数栈君 发表了文章 • 0 个评论 • 298 次浏览 • 2024-11-27 14:39 • 来自相关话题

不久前,袋鼠云成功举办了以“AI驱动,数智未来”为主题的2024年秋季发布会。此次发布会聚焦于如何借助AI技术实现企业的新一轮飞跃,重塑企业的经营管理模式,加速数智化进程。会上,袋鼠云围绕“数智基建+数智应用”进行了深入的分享,引发了与会者和业界的广泛关注和热... ...查看全部

优化数据处理效率,解读 EasyMR 大数据组件升级

产品交流数栈君 发表了文章 • 0 个评论 • 396 次浏览 • 2024-07-31 15:03 • 来自相关话题

EasyMR 作为袋鼠云基于云原生技术和 Hadoop、Hive、Spark、Flink、Hbase、Presto 等开源大数据组件构建的弹性计算引擎。此前,我们已就其展开了多方位、多角度的详尽介绍。而此次,我们成功接入了大数据组件的升级和回滚功能,能够借助 ... ...查看全部

灵活、可用、高扩展,EasyMR 带来全新 Yarn 的队列管理功能及可视化配置

产品交流数栈君 发表了文章 • 0 个评论 • 581 次浏览 • 2023-10-26 11:22 • 来自相关话题

YARN(Yet Another Resource Negotiator)是 Hadoop 生态系统中的资源调度器,主要用于资源管理和作业调度。YARN 自身具备队列管理功能,通过对 YARN 资源队列进行配置和管理,实现集群资源的分配,以满足不同应用和用户的... ...查看全部

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

产品交流数栈君 发表了文章 • 0 个评论 • 890 次浏览 • 2023-08-31 17:46 • 来自相关话题

设想一下,作为一个开发人员,你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表,B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底应该如何分配资源满足这两个任务呢?是先执行A的任务,再执行B... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 711 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

三种熔断策略在数据服务API中的实践应用

产品交流数栈君 发表了文章 • 0 个评论 • 263 次浏览 • 2024-11-28 15:29 • 来自相关话题

熔断策略的概念最早可以追溯到电力系统中的保险丝。当电流过大时,保险丝会自动熔断,以防止电器设备因过载而损坏。这种简单而有效的保护机制为后来软件系统中的熔断策略提供了灵感。在软件系统中,熔断策略的工作原理类似,旨在通过监测服务调用的状态来决定是否允许请求继续发送... ...查看全部

Pyspark中pyspark.sql.functions常用方法(1)

网友分享数栈君 发表了文章 • 0 个评论 • 250 次浏览 • 2024-11-28 10:38 • 来自相关话题

pyspark sql functions(1)spark.rangeSpark的range()函数用于生成一个指定范围内的连续整数序列具体来说,range(start, end, step)函数接受三个参数:start:序列的起始值。end:序列的结束值(不... ...查看全部

Pyspark DataFrame中Column使用

网友分享数栈君 发表了文章 • 0 个评论 • 245 次浏览 • 2024-11-28 10:30 • 来自相关话题

pyspark dataframe Columnalias 重命名列(name)df = spark.createDataFrame( [(2, "Alice"), (5, "Bob")], ["age", "name"])df.select(df.a... ...查看全部

11月28日直播预告:如何建设开放可控的企业大数据平台丨袋鼠云“数智基建+数智应用”赋能分享01期

活动动态数栈君 发表了文章 • 0 个评论 • 298 次浏览 • 2024-11-27 14:39 • 来自相关话题

不久前,袋鼠云成功举办了以“AI驱动,数智未来”为主题的2024年秋季发布会。此次发布会聚焦于如何借助AI技术实现企业的新一轮飞跃,重塑企业的经营管理模式,加速数智化进程。会上,袋鼠云围绕“数智基建+数智应用”进行了深入的分享,引发了与会者和业界的广泛关注和热... ...查看全部

优化数据处理效率,解读 EasyMR 大数据组件升级

产品交流数栈君 发表了文章 • 0 个评论 • 396 次浏览 • 2024-07-31 15:03 • 来自相关话题

EasyMR 作为袋鼠云基于云原生技术和 Hadoop、Hive、Spark、Flink、Hbase、Presto 等开源大数据组件构建的弹性计算引擎。此前,我们已就其展开了多方位、多角度的详尽介绍。而此次,我们成功接入了大数据组件的升级和回滚功能,能够借助 ... ...查看全部

EasyMR 基于国产化信创的适配实践技术详解

产品交流数栈君 发表了文章 • 0 个评论 • 416 次浏览 • 2024-05-23 11:44 • 来自相关话题

国产化信创,即采用国产信息技术产品和服务,构建自主可控的信息技术体系。近年来,随着国家对网络安全和信息安全的重视程度不断提高,国产化信创已经成为国家战略的重要组成部分,并呈现出以下大趋势:● 政策驱动,加速发展国家出台了一系列政策法规,大力支持国产化信创产业发... ...查看全部

EasyMR:为 AI 未来赋能,打造弹性大数据引擎的革命

产品交流数栈君 发表了文章 • 0 个评论 • 500 次浏览 • 2024-01-09 17:53 • 来自相关话题

如果要评一个2023科技圈的热搜榜,那么以人工智能聊天机器人 ChatGPT 为代表的 AI大模型 绝对会霸榜整个2023。ChatGPT 于2022年11月30日发布。产品发布5日,注册用户数就超过100万。推出仅两个月后,它在2023年1月末的月活用户已经... ...查看全部

干货|EasyMR 基于 Kubernetes 应用的监控实践

产品交流数栈君 发表了文章 • 0 个评论 • 360 次浏览 • 2024-01-04 10:27 • 来自相关话题

在之前的内容中,我们深入探讨了 EasyMR 如何利用 Kubernetes 进行部署。大家已经了解到,在 EasyMR 的整体架构中,我们使用 Prometheus 进行节点和服务监控数据的采集、查询和存储。同时,Grafana 作为强大的可视化工具,将 P... ...查看全部

灵活、可用、高扩展,EasyMR 带来全新 Yarn 的队列管理功能及可视化配置

产品交流数栈君 发表了文章 • 0 个评论 • 581 次浏览 • 2023-10-26 11:22 • 来自相关话题

YARN(Yet Another Resource Negotiator)是 Hadoop 生态系统中的资源调度器,主要用于资源管理和作业调度。YARN 自身具备队列管理功能,通过对 YARN 资源队列进行配置和管理,实现集群资源的分配,以满足不同应用和用户的... ...查看全部

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

产品交流数栈君 发表了文章 • 0 个评论 • 890 次浏览 • 2023-08-31 17:46 • 来自相关话题

设想一下,作为一个开发人员,你现在所在的公司有一套线上的 Hadoop 集群。A部门经常做一些定时的 BI 报表,B部门则经常使用软件做一些临时需求。那么他们肯定会遇到同时提交任务的场景,这个时候到底应该如何分配资源满足这两个任务呢?是先执行A的任务,再执行B... ...查看全部