开源数据中台

开源数据中台

RabbitMQ的幂等性、优先级队列和惰性队列

技术共享 • 数栈君 发表了文章 • 0 个评论 • 93 次浏览 • 2024-04-16 17:03 • 来自相关话题

一、幂等性1、概念用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回... ...查看全部

【Hadoop】下载安装及伪分布式集群搭建教程

技术共享 • 数栈君 发表了文章 • 0 个评论 • 133 次浏览 • 2024-04-15 18:06 • 来自相关话题

1.概述hadoop有三种安装模式单机模式，只在一台机器上运行，存储用的本地文件系统而不是HDFS。伪分布式模式，存储采用HDFS，名称节点和数据节点在同一台机器上。分布式模式，标准的分布式集群。做实验或者学习阶段选择伪分布式就好，本文将详细讲解在Linux搭... ...查看全部

从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）

技术共享 • 数栈君 发表了文章 • 0 个评论 • 143 次浏览 • 2024-04-15 18:03 • 来自相关话题

1.事前准备Hadoop，说白了就是让我们计算机的算力可以进行分散，小唐这个月的搭建是真的，啊啊啊啊啊，为了让后人避免踩坑，以及后续自己也可以回来看看，就简单的说一下自己的搭建流程。咱们首先准备好这些软件1. VMware2. CentOS-7-x86_643... ...查看全部

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享 • 数栈君 发表了文章 • 0 个评论 • 558 次浏览 • 2023-06-06 10:58 • 来自相关话题

1 问题描述接到一个优化场景：小程序用户的openid作为最主要的业务查询字段，在做了缓存设计之后仍有非常高频的查询，通过埋点简单统计约在每日1000w次。其中：由于有新增用户，新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中，这部分统计... ...查看全部

什么是数据中台？数据中台的特点是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 273 次浏览 • 2023-06-01 17:00 • 来自相关话题

我们可以简单地认为数据中台是由AI驱动，在数据仓库的基础上运用大数据技术实现的敏捷数据服务平台。 与数据仓库相比，数据中台主要有以下变化。1.敏捷化传统的数据仓库倾向于大而全，因此实施成本高、周期长，同时因为架构复杂、层级较多，所以对新业务的适应能力弱。笔者曾... ...查看全部

数据中台在政务行业的应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 382 次浏览 • 2023-06-01 16:57 • 来自相关话题

近年来，政府部门信息化建设投入不断加大，政务云化进程也不断加速，基础设施建设已趋于成熟。然而，政务服务具有 专业性强、流程环节多、处理情形复杂等特点，多以多线方式进行信息化建设，如税务系统、公安系统等，造成了严重的 数据孤岛情况。同时，各政务服务部门间的信息化... ...查看全部

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 504 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

捷报 | 新世纪发展集团与袋鼠云达成合作

公司动态 • 数栈君 发表了文章 • 0 个评论 • 296 次浏览 • 2023-05-26 16:31 • 来自相关话题

近日，新世纪发展集团与袋鼠云达成合作，携手打造大数据平台，将客户数据进行统一汇聚、计算，建立统一的数据标准，解决数据开发不规范等问题，从而形成数据资产，保障数据分析的效率和准确性。据悉，新世纪发展集团创办于1998年，着力打造将数智化融入建筑装修和各类安装工程... ...查看全部

必看！关于数据中台的深度思考与总结

网友分享 • 数栈君 发表了文章 • 0 个评论 • 338 次浏览 • 2023-05-05 15:41 • 来自相关话题

数据中台数据汇聚数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。数据采集工... ...查看全部

从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师视角详细解读数据中台

网友分享 • 数栈君 发表了文章 • 0 个评论 • 348 次浏览 • 2023-05-05 15:40 • 来自相关话题

一千个读者，就有一千个哈姆雷特。同样，数据中台对于企业内部不同角色的价值也不同，下面分别从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师这 5 个角色的视角详细解读数据中台。1董事长视角下的数据中台在数字经济时代，企业通过建设数据中台提升业务价值逐... ...查看全部
更多...

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 504 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

大数据开源讲解：基于Apache Calcite框架的SQL语法扩展探索

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1080 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

DAG任务调度系统 Taier 演进之道，探究DataSourceX 模块

Taier • 数栈君 发表了文章 • 0 个评论 • 760 次浏览 • 2022-12-28 13:41 • 来自相关话题

熟悉Taier的小伙伴们应该都知道，在11月7日发布的Taier1.3新版本中，我们融合了「DataSourceX 模块」。这是十分重要的一个变化，移除Taier外部插件依赖，新增数据源插件相关特性，支持后续Taier对接更多的RDBMS类型的SQL任务。本篇... ...查看全部

Molecule在GitHub与Gitee正式开源咯！丨开源上线

开源动态 • 数栈君 发表了文章 • 0 个评论 • 1848 次浏览 • 2021-12-21 15:59 • 来自相关话题

铛铛铛12月16日9:00我们的Molecule在GitHub与Gitee正式开源咯！！！什么？你还不知道它是谁？那就先来认识一下这位新成员吧ps：悄悄告诉你 文末还有小惊喜Molecule简介Molecule是一个受VS Code启发，使用React.js构... ...查看全部

袋鼠云数栈技术团队入选开源中国“2021年度优秀开源技术团队”

开源动态 • 数栈君 发表了文章 • 0 个评论 • 940 次浏览 • 2021-12-21 15:53 • 来自相关话题

日前，袋鼠云数栈技术团队被开源中国评选为“2021 年度 OSCHINA 优秀开源技术团队”。Github India的总经理Maneesh Sharma说：“开源是创新的推动者，使组织能够快速获得全球人才库和开发安全、可靠和可扩展的软件的工具。”开源不仅可以... ...查看全部
没有更多了...

mysql cdc读有人使用吗 类型转换失败的问题，是如何解决的呢

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 334 次浏览 • 2023-02-14 15:01 • 来自相关话题

请教下，Taier工作流能整个流执行和测试么？ 没找到工作流的run按钮啊

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 360 次浏览 • 2023-02-01 14:11 • 来自相关话题

兄弟们 新年好呀 我新建文件夹报错啦 有人能帮忙看下是哪里配置不对吗

回复

Taier • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 277 次浏览 • 2023-02-01 14:09 • 来自相关话题

请问一下Taier的画布最多能编排多少作业呢？

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 393 次浏览 • 2023-02-01 14:08 • 来自相关话题

taier的dag调度，支持条件分支吗？根据上一任务的不同结果选择不同的下一个任务依赖

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 356 次浏览 • 2023-01-16 17:36 • 来自相关话题

大佬们，问一下，taier目前有监控、告警的功能了吗，找了一圈文档，没有找到

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 499 次浏览 • 2023-01-11 18:21 • 来自相关话题

字符串转jsonarray数组的函数是什么？我在文档上试了半天都没反应

回复

ChunJun • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 440 次浏览 • 2023-01-10 10:07 • 来自相关话题

请教下，在用chunjun进行同步的时候，Oracle 没有开启binlog模式是不是不能实现实时采集？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 392 次浏览 • 2023-01-07 11:05 • 来自相关话题

chunjun这种类型的怎么在窗口函数里面获取啊

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 321 次浏览 • 2023-01-06 17:54 • 来自相关话题

Taier哪位大佬方便给镜像打个arm64版呢？很需要一个arm版，自己编译有不少问题要解决，求大佬帮衬

回复

Taier • 群内解答 回复了问题 • 1 人关注 • 1 个回复 • 541 次浏览 • 2023-01-06 17:40 • 来自相关话题

没有更多了...

RabbitMQ的幂等性、优先级队列和惰性队列

技术共享 • 数栈君 发表了文章 • 0 个评论 • 93 次浏览 • 2024-04-16 17:03 • 来自相关话题

一、幂等性1、概念用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回... ...查看全部

【Hadoop】下载安装及伪分布式集群搭建教程

技术共享 • 数栈君 发表了文章 • 0 个评论 • 133 次浏览 • 2024-04-15 18:06 • 来自相关话题

1.概述hadoop有三种安装模式单机模式，只在一台机器上运行，存储用的本地文件系统而不是HDFS。伪分布式模式，存储采用HDFS，名称节点和数据节点在同一台机器上。分布式模式，标准的分布式集群。做实验或者学习阶段选择伪分布式就好，本文将详细讲解在Linux搭... ...查看全部

从零开始Hadoop安装和配置，图文手把手教你，定位错误（已部署成功）

技术共享 • 数栈君 发表了文章 • 0 个评论 • 143 次浏览 • 2024-04-15 18:03 • 来自相关话题

1.事前准备Hadoop，说白了就是让我们计算机的算力可以进行分散，小唐这个月的搭建是真的，啊啊啊啊啊，为了让后人避免踩坑，以及后续自己也可以回来看看，就简单的说一下自己的搭建流程。咱们首先准备好这些软件1. VMware2. CentOS-7-x86_643... ...查看全部

【Redis系列】Redis布隆过滤之8亿大数据集实战

网友分享 • 数栈君 发表了文章 • 0 个评论 • 558 次浏览 • 2023-06-06 10:58 • 来自相关话题

1 问题描述接到一个优化场景：小程序用户的openid作为最主要的业务查询字段，在做了缓存设计之后仍有非常高频的查询，通过埋点简单统计约在每日1000w次。其中：由于有新增用户，新增矩阵小程序等原因导致请求的openid根本不存在MySQL数据库中，这部分统计... ...查看全部

什么是数据中台？数据中台的特点是什么？

网友分享 • 数栈君 发表了文章 • 0 个评论 • 273 次浏览 • 2023-06-01 17:00 • 来自相关话题

我们可以简单地认为数据中台是由AI驱动，在数据仓库的基础上运用大数据技术实现的敏捷数据服务平台。 与数据仓库相比，数据中台主要有以下变化。1.敏捷化传统的数据仓库倾向于大而全，因此实施成本高、周期长，同时因为架构复杂、层级较多，所以对新业务的适应能力弱。笔者曾... ...查看全部

数据中台在政务行业的应用场景

网友分享 • 数栈君 发表了文章 • 0 个评论 • 382 次浏览 • 2023-06-01 16:57 • 来自相关话题

近年来，政府部门信息化建设投入不断加大，政务云化进程也不断加速，基础设施建设已趋于成熟。然而，政务服务具有 专业性强、流程环节多、处理情形复杂等特点，多以多线方式进行信息化建设，如税务系统、公安系统等，造成了严重的 数据孤岛情况。同时，各政务服务部门间的信息化... ...查看全部

Apache Hudi 在袋鼠云数据湖平台的设计与实践

产品交流 • 数栈君 发表了文章 • 0 个评论 • 504 次浏览 • 2023-05-26 16:38 • 来自相关话题

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这个问题。Apache Hudi（Hadoop Upserts Deletes an... ...查看全部

捷报 | 新世纪发展集团与袋鼠云达成合作

公司动态 • 数栈君 发表了文章 • 0 个评论 • 296 次浏览 • 2023-05-26 16:31 • 来自相关话题

近日，新世纪发展集团与袋鼠云达成合作，携手打造大数据平台，将客户数据进行统一汇聚、计算，建立统一的数据标准，解决数据开发不规范等问题，从而形成数据资产，保障数据分析的效率和准确性。据悉，新世纪发展集团创办于1998年，着力打造将数智化融入建筑装修和各类安装工程... ...查看全部

必看！关于数据中台的深度思考与总结

网友分享 • 数栈君 发表了文章 • 0 个评论 • 338 次浏览 • 2023-05-05 15:41 • 来自相关话题

数据中台数据汇聚数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。数据采集工... ...查看全部

从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师视角详细解读数据中台

网友分享 • 数栈君 发表了文章 • 0 个评论 • 348 次浏览 • 2023-05-05 15:40 • 来自相关话题

一千个读者，就有一千个哈姆雷特。同样，数据中台对于企业内部不同角色的价值也不同，下面分别从董事长、CEO、 CTO/CIO、IT 架构师、数据分析师这 5 个角色的视角详细解读数据中台。1董事长视角下的数据中台在数字经济时代，企业通过建设数据中台提升业务价值逐... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区余杭塘路2301号海智中心8号楼

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号