数栈

数栈

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 64 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

如何最好的实现数据治理?数据治理的有效手段介绍

网友分享数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-04-26 11:38 • 来自相关话题

据研究表明,在数据分析的整个过程中,数据准备会占大约80%的时间。怎样把数据收集起来,并确保数据可直接用于分析展示,是最麻烦、最耗时的事情,这在企业级的数据分析中也被称为是“最脏最累”的活。倘若数据未处理妥当,炫酷好看的可视化展示毫无实际意义。但是数据准备又非... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 96 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

实践数据湖iceberg: metadata比数据文件大很多倍的问题

网友分享数栈君 发表了文章 • 0 个评论 • 114 次浏览 • 2023-03-30 10:08 • 来自相关话题

问题提出数据不断写入iceberg, 也进行合并与清理快照,发现快照和manifest文件都被清理,但metadata的文件没有被清理的痕迹数据文件只有6.3M,数据个数20个,但metadata总大小33.1G,metadata个数8715个, 清理最后一个... ...查看全部

实践数据湖iceberg: catalog是什么

网友分享数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2023-03-30 10:05 • 来自相关话题

1. 从建立catalog的语句,了解catalog建catalog,db,表的语句。catalog只是声明了,该catalog的文件存储格式是iceberg以及在hive中实际存储的路径。使用哪个catalog,就是使用对应的数据格式、以及文件存储路径具体的... ...查看全部

合并小文件

知识百科数栈君 发表了文章 • 0 个评论 • 29 次浏览 • 2023-03-30 10:01 • 来自相关话题

数据中台 技术

知识百科沸羊羊 发表了文章 • 0 个评论 • 32 次浏览 • 2023-03-29 13:52 • 来自相关话题

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 91 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

袋鼠云数栈前端框架Antd 3.x 升级 4.x 的踩坑之路

产品交流数栈君 发表了文章 • 0 个评论 • 70 次浏览 • 2023-03-03 12:01 • 来自相关话题

袋鼠云数栈从2016年发布第⼀个版本开始,就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想,坚定不移地⾛国产化信创路线,不断推进产品功能迭代、技术创新、服务细化和性能升级。在数栈过去的产品迭代中受限于当前组件的版本,积累了很多待解决的问题,随... ...查看全部

袋鼠云数栈 UI5.0 体验升级背后的故事:可用性原则与交互升级

技术共享数栈君 发表了文章 • 0 个评论 • 141 次浏览 • 2022-11-17 17:07 • 来自相关话题

最近,我们袋鼠云的 UED 部⻔小伙伴们,不声不响地⼲了⼀件⼤事 —— 升级了全新设计语言「数栈 UI5.0」。众所周知,用户在使用产品时,是一个动态的过程,用户和产品之间进行交互的可用性,能否让用户愉悦、快速地在产品内达成目的,直接影响用户使用产品的体验。在... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 64 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 96 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 91 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

袋鼠云数栈V6.0全新产品矩阵发布,大数据计算引擎 EasyMR 焕新升级

产品交流数栈君 发表了文章 • 0 个评论 • 64 次浏览 • 2023-04-27 11:43 • 来自相关话题

4月20日,袋鼠云成功举行了以“数实融合,韧性生长”为主题的2023春季生长大会。会上,袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级,并重点发布了... ...查看全部

如何最好的实现数据治理?数据治理的有效手段介绍

网友分享数栈君 发表了文章 • 0 个评论 • 36 次浏览 • 2023-04-26 11:38 • 来自相关话题

据研究表明,在数据分析的整个过程中,数据准备会占大约80%的时间。怎样把数据收集起来,并确保数据可直接用于分析展示,是最麻烦、最耗时的事情,这在企业级的数据分析中也被称为是“最脏最累”的活。倘若数据未处理妥当,炫酷好看的可视化展示毫无实际意义。但是数据准备又非... ...查看全部

数据开发提效有秘诀!离线开发BatchWorks 六大典型场景拆解

产品交流数栈君 发表了文章 • 0 个评论 • 96 次浏览 • 2023-04-12 10:25 • 来自相关话题

回顾大数据的发展历程,一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下,优秀的开发效率已经成为企业数字化转型的必备条件。数栈离线开发BatchWorks 是一款专注离线数据ELT开发的产品,采用先进的大数据生态底层技术,具备高性能且功能丰富... ...查看全部

实践数据湖iceberg: metadata比数据文件大很多倍的问题

网友分享数栈君 发表了文章 • 0 个评论 • 114 次浏览 • 2023-03-30 10:08 • 来自相关话题

问题提出数据不断写入iceberg, 也进行合并与清理快照,发现快照和manifest文件都被清理,但metadata的文件没有被清理的痕迹数据文件只有6.3M,数据个数20个,但metadata总大小33.1G,metadata个数8715个, 清理最后一个... ...查看全部

实践数据湖iceberg: catalog是什么

网友分享数栈君 发表了文章 • 0 个评论 • 65 次浏览 • 2023-03-30 10:05 • 来自相关话题

1. 从建立catalog的语句,了解catalog建catalog,db,表的语句。catalog只是声明了,该catalog的文件存储格式是iceberg以及在hive中实际存储的路径。使用哪个catalog,就是使用对应的数据格式、以及文件存储路径具体的... ...查看全部

合并小文件

知识百科数栈君 发表了文章 • 0 个评论 • 29 次浏览 • 2023-03-30 10:01 • 来自相关话题

数据中台 技术

知识百科沸羊羊 发表了文章 • 0 个评论 • 32 次浏览 • 2023-03-29 13:52 • 来自相关话题

袋鼠云数栈离线开发平台在小文件治理上的探索实践之路

产品交流数栈君 发表了文章 • 0 个评论 • 91 次浏览 • 2023-03-29 11:23 • 来自相关话题

日常生产中 HDFS 上小文件产生是一个很正常的事情,同时小文件也是 Hadoop 集群运维中的常见挑战,尤其对于大规模运行的集群来说可谓至关重要。数据地图是离线开发产品的基本使用单位,包含全部表和项目的相关信息,可以对表做相关的权限管理和脱敏管理操作,以及可... ...查看全部

袋鼠云数栈前端框架Antd 3.x 升级 4.x 的踩坑之路

产品交流数栈君 发表了文章 • 0 个评论 • 70 次浏览 • 2023-03-03 12:01 • 来自相关话题

袋鼠云数栈从2016年发布第⼀个版本开始,就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想,坚定不移地⾛国产化信创路线,不断推进产品功能迭代、技术创新、服务细化和性能升级。在数栈过去的产品迭代中受限于当前组件的版本,积累了很多待解决的问题,随... ...查看全部

袋鼠云数栈 UI5.0 体验升级背后的故事:可用性原则与交互升级

技术共享数栈君 发表了文章 • 0 个评论 • 141 次浏览 • 2022-11-17 17:07 • 来自相关话题

最近,我们袋鼠云的 UED 部⻔小伙伴们,不声不响地⼲了⼀件⼤事 —— 升级了全新设计语言「数栈 UI5.0」。众所周知,用户在使用产品时,是一个动态的过程,用户和产品之间进行交互的可用性,能否让用户愉悦、快速地在产品内达成目的,直接影响用户使用产品的体验。在... ...查看全部