数字化时代,数据已然成为新能源,人们生活和工作诸多场景的背后都离不开大数据技术。通过大数据技术,企业可以洞察用户,发现新需求,找到增长点,同时基于大数据实现降本增效,并进行业务决策。
在这样的背景下,袋鼠云于2018年开始,陆续在技术社区上开源技术项目,为开源社区贡献力量,以期帮助企业提升大数据开发效率,实现高效协同。
4年的时间里,袋鼠云技术团队一直以技术为核心,坚持开源开放、将数字化技术红利回馈社区的理念,不断的为大家分享成果。
经过4年的发展,袋鼠云的开源项目系列得到了广泛的发展,相继在各类企业中落地应用。
后续,袋鼠云还将陆续开源更多的大数据项目,为此,袋鼠云对开源项目进行整体升级,并推出自主开源计划——DTstackCon。
何为DTstackCon
“DTstack”为袋鼠云的品牌英文标识;“Con”取自英文单词“Connection”,具有连接、集合、系列的含义。“DTstackCon”代表袋鼠云开源家族的集合体。
随着袋鼠云的开源项目越来越多,开源家族将越来越庞大,后续袋鼠云将以自主开源计划DTstackCon进行集中亮相,持续耕耘大数据技术领域,为开源贡献力量。
这是袋鼠云开源计划的重要里程碑事件,代表着袋鼠云技术研发团队对开源的决心。我们希望通过技术分享,帮助更多人探索大数据平台的业务场景,同时也由衷欢迎更多开发者参与到社区中来。
DTstackCon项目成员
|01 chunjun(原名FlinkX)——批流一体大数据同步引擎
chunjun 取自中国古代十大名剑之一的纯钧,是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等。同时,chunjun也是支持原生FlinkSql所有语法和特性的计算框架,并且提供了大量案例
点击了解更多:FlinkX —— 批流统一的高效数据同步插件
|02 Taier——大数据分布式任务调度系统
Taier 取自中国古代十大名剑之一的太阿,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。
点击了解更多:Taier—大数据分布式可视化DAG任务调度系统
|03 molecule——轻量级Web IDE UI 框架
molecule 是一款受 VSCode 启发,使用 React.js 构建的 Web IDE UI 框架。袋鼠云技术团队设计了类似 VSCode 的扩展(Extension)机制,可以帮助开发使用 React 组件快速完成对 Workbench 的自定义。molecule 与 React 项目集成非常方便,袋鼠云已经在多个产品、项目中使用。
点击了解更多:molecule在GitHub与Gitee正式开源!
DTstackCon项目地址
Github开源项目地址:
Gitee开源项目地址:
https://gitee.com/dtstack_dev_0
未来,我们仍将秉承兼容并包与开放多样化的心态,将继续推出更多DTstackCon的项目成员,欢迎更多的公司和个人参与到开发者队伍中来,让开源社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!