开源数据中台

开源数据中台

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享 • 数栈君 发表了文章 • 0 个评论 • 130 次浏览 • 2023-06-06 10:58 • 来自相关话题

1 问题描述接到一个优化场景：小程序用户的openid作为最主要的业务查询字段，在做了缓存设计之后仍有非常高频的查询，通过埋点简单统计约在每日1000w次。其中：由于有新增用户，新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中，这部分统计... ...查看全部

什么是数据中台？数据中台的特点是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 80 次浏览 • 2023-06-01 17:00 • 来自相关话题

我们可以简单地认为数据中台是由AI驱动，在数据仓库的基础上运用大数据技术实现的敏捷数据服务平台。 与数据仓库相比，数据中台主要有以下变化。1.敏捷化传统的数据仓库倾向于大而全，因此实施成本高、周期长，同时因为架构复杂、层级较多，所以对新业务的适应能力弱。笔者曾... ...查看全部

数据中台在政务行业的应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 152 次浏览 • 2023-06-01 16:57 • 来自相关话题

近年来，政府部门信息化建设投入不断加大，政务云化进程也不断加速，基础设施建设已趋于成熟。然而，政务服务具有 专业性强、流程环节多、处理情形复杂等特点，多以多线方式进行信息化建设，如税务系统、公安系统等，造成了严重的 数据孤岛情况。同时，各政务服务部门间的信息化... ...查看全部

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

捷报 | 新世纪发展集团与袋鼠云达成合作

公司动态 • 数栈君 发表了文章 • 0 个评论 • 95 次浏览 • 2023-05-26 16:31 • 来自相关话题

近日，新世纪发展集团与袋鼠云达成合作，携手打造大数据平台，将客户数据进行统一汇聚、计算，建立统一的数据标准，解决数据开发不规范等问题，从而形成数据资产，保障数据分析的效率和准确性。据悉，新世纪发展集团创办于1998年，着力打造将数智化融入建筑装修和各类安装工程... ...查看全部

必看！关于数据中台的深度思考与总结

网友分享 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-05 15:41 • 来自相关话题

数据中台数据汇聚数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。数据采集工... ...查看全部

从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师视角详细解读数据中台

网友分享 • 数栈君 发表了文章 • 0 个评论 • 97 次浏览 • 2023-05-05 15:40 • 来自相关话题

一千个读者，就有一千个哈姆雷特。同样，数据中台对于企业内部不同角色的价值也不同，下面分别从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师这 5 个角色的视角详细解读数据中台。1董事长视角下的数据中台在数字经济时代，企业通过建设数据中台提升业务价值逐... ...查看全部

人人都在说的数据中台究竟是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 91 次浏览 • 2023-05-05 15:39 • 来自相关话题

关于数据中台，目前业界并没有一个标准的定义，不同厂商、不同企业对数据中台都有着不同的理解。但对于数据中台大家也有一个共识就是它是用来解决企业数据各类数据问题，使得企业数据资源转化为数据资产的解决方案。下面给大家分享的内容是关于数据中台定义、价值、架构和建设方法... ...查看全部

Flink 流批一体在阿里的落地

网友分享 • 数栈君 发表了文章 • 0 个评论 • 440 次浏览 • 2023-03-29 11:27 • 来自相关话题

短短 5 年，Apache Flink（下称 Flink）从一个突然出现在大数据舞台的“萌新”系统，迅速成长为人人皆知的流计算引擎。在伴随 Flink 发展掀起的这波实时计算浪潮里，阿里是国内走得最前、做得也最多的一个，“流批一体”是它的新赛道。今年双 11，... ...查看全部

mysql cdc读有人使用吗 类型转换失败的问题，是如何解决的呢

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 143 次浏览 • 2023-02-14 15:01 • 来自相关话题

更多...

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

大数据开源讲解：基于Apache Calcite框架的SQL语法扩展探索

技术共享 • 数栈君 发表了文章 • 0 个评论 • 438 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

DAG任务调度系统 Taier 演进之道，探究DataSourceX 模块

Taier • 数栈君 发表了文章 • 0 个评论 • 255 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道，在11月7日发布的Taier1.3新版本中，我们融合了「DataSourceX 模块」。这是十分重要的一个变化，移除Taier外部插件依赖，新增数据源插件相关特性，支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

Molecule在GitHub与Gitee正式开源咯！丨开源上线

开源动态 • 数栈君 发表了文章 • 0 个评论 • 1460 次浏览 • 2021-12-21 15:59 • 来自相关话题

铛铛铛12月16日9:00我们的Molecule在GitHub与Gitee正式开源咯！！！什么？你还不知道它是谁？那就先来认识一下这位新成员吧ps：悄悄告诉你 文末还有小惊喜Molecule简介Molecule是一个受VS Code启发，使用React.js构... ...查看全部

袋鼠云数栈技术团队入选开源中国“2021年度优秀开源技术团队”

开源动态 • 数栈君 发表了文章 • 0 个评论 • 689 次浏览 • 2021-12-21 15:53 • 来自相关话题

日前，袋鼠云数栈技术团队被开源中国评选为“2021 年度 OSCHINA 优秀开源技术团队”。Github India的总经理Maneesh Sharma说：“开源是创新的推动者，使组织能够快速获得全球人才库和开发安全、可靠和可扩展的软件的工具。”开源不仅可以... ...查看全部
没有更多了...

mysql cdc读有人使用吗 类型转换失败的问题，是如何解决的呢

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 143 次浏览 • 2023-02-14 15:01 • 来自相关话题

请教下，Taier工作流能整个流执行和测试么？ 没找到工作流的run按钮啊

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 163 次浏览 • 2023-02-01 14:11 • 来自相关话题

兄弟们 新年好呀 我新建文件夹报错啦 有人能帮忙看下是哪里配置不对吗

回复

Taier • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 116 次浏览 • 2023-02-01 14:09 • 来自相关话题

请问一下Taier的画布最多能编排多少作业呢？

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 196 次浏览 • 2023-02-01 14:08 • 来自相关话题

taier的dag调度，支持条件分支吗？根据上一任务的不同结果选择不同的下一个任务依赖

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 153 次浏览 • 2023-01-16 17:36 • 来自相关话题

大佬们，问一下，taier目前有监控、告警的功能了吗，找了一圈文档，没有找到

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 234 次浏览 • 2023-01-11 18:21 • 来自相关话题

字符串转jsonarray数组的函数是什么？我在文档上试了半天都没反应

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 208 次浏览 • 2023-01-10 10:07 • 来自相关话题

请教下，在用chunjun进行同步的时候，Oracle 没有开启binlog模式是不是不能实现实时采集？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 177 次浏览 • 2023-01-07 11:05 • 来自相关话题

chunjun这种类型的怎么在窗口函数里面获取啊

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 151 次浏览 • 2023-01-06 17:54 • 来自相关话题

Taier哪位大佬方便给镜像打个arm64版呢？很需要一个arm版，自己编译有不少问题要解决，求大佬帮衬

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 186 次浏览 • 2023-01-06 17:40 • 来自相关话题

没有更多了...

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享 • 数栈君 发表了文章 • 0 个评论 • 130 次浏览 • 2023-06-06 10:58 • 来自相关话题

1 问题描述接到一个优化场景：小程序用户的openid作为最主要的业务查询字段，在做了缓存设计之后仍有非常高频的查询，通过埋点简单统计约在每日1000w次。其中：由于有新增用户，新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中，这部分统计... ...查看全部

什么是数据中台？数据中台的特点是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 80 次浏览 • 2023-06-01 17:00 • 来自相关话题

我们可以简单地认为数据中台是由AI驱动，在数据仓库的基础上运用大数据技术实现的敏捷数据服务平台。 与数据仓库相比，数据中台主要有以下变化。1.敏捷化传统的数据仓库倾向于大而全，因此实施成本高、周期长，同时因为架构复杂、层级较多，所以对新业务的适应能力弱。笔者曾... ...查看全部

数据中台在政务行业的应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 152 次浏览 • 2023-06-01 16:57 • 来自相关话题

近年来，政府部门信息化建设投入不断加大，政务云化进程也不断加速，基础设施建设已趋于成熟。然而，政务服务具有 专业性强、流程环节多、处理情形复杂等特点，多以多线方式进行信息化建设，如税务系统、公安系统等，造成了严重的 数据孤岛情况。同时，各政务服务部门间的信息化... ...查看全部

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

捷报 | 新世纪发展集团与袋鼠云达成合作

公司动态 • 数栈君 发表了文章 • 0 个评论 • 95 次浏览 • 2023-05-26 16:31 • 来自相关话题

近日，新世纪发展集团与袋鼠云达成合作，携手打造大数据平台，将客户数据进行统一汇聚、计算，建立统一的数据标准，解决数据开发不规范等问题，从而形成数据资产，保障数据分析的效率和准确性。据悉，新世纪发展集团创办于1998年，着力打造将数智化融入建筑装修和各类安装工程... ...查看全部

必看！关于数据中台的深度思考与总结

网友分享 • 数栈君 发表了文章 • 0 个评论 • 136 次浏览 • 2023-05-05 15:41 • 来自相关话题

数据中台数据汇聚数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。数据采集工... ...查看全部

从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师视角详细解读数据中台

网友分享 • 数栈君 发表了文章 • 0 个评论 • 97 次浏览 • 2023-05-05 15:40 • 来自相关话题

一千个读者，就有一千个哈姆雷特。同样，数据中台对于企业内部不同角色的价值也不同，下面分别从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师这 5 个角色的视角详细解读数据中台。1董事长视角下的数据中台在数字经济时代，企业通过建设数据中台提升业务价值逐... ...查看全部

人人都在说的数据中台究竟是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 91 次浏览 • 2023-05-05 15:39 • 来自相关话题

关于数据中台，目前业界并没有一个标准的定义，不同厂商、不同企业对数据中台都有着不同的理解。但对于数据中台大家也有一个共识就是它是用来解决企业数据各类数据问题，使得企业数据资源转化为数据资产的解决方案。下面给大家分享的内容是关于数据中台定义、价值、架构和建设方法... ...查看全部

Flink 流批一体在阿里的落地

网友分享 • 数栈君 发表了文章 • 0 个评论 • 440 次浏览 • 2023-03-29 11:27 • 来自相关话题

短短 5 年，Apache Flink（下称 Flink）从一个突然出现在大数据舞台的“萌新”系统，迅速成长为人人皆知的流计算引擎。在伴随 Flink 发展掀起的这波实时计算浪潮里，阿里是国内走得最前、做得也最多的一个，“流批一体”是它的新赛道。今年双 11，... ...查看全部

金融控股集团大数据治理探讨

技术共享 • 数栈君 发表了文章 • 0 个评论 • 150 次浏览 • 2023-02-07 16:58 • 来自相关话题

随着金融控股集团下属子公司数字化、信息化水平的提升，集团内部对各类金融业务系统之间的数据交互、数据集成提出了更高要求。强化金融控股集团数据治理，通过深度的数通与共享提升金融控股集团协同效应，对于打造数字时代金控集团核心竞争力至关重要。本文分析了金控集团数据治理... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号