博客 官宣!Taier1.3 新版本正式发布,新鲜功能抢先体验

官宣!Taier1.3 新版本正式发布,新鲜功能抢先体验

   数栈君   发表于 2022-11-08 14:04  111  0
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/9ec9790172f93a6f808c816dca9a8e7f..jpg

Taier 是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。


2022年11月7日,Taier1.3版本正式发布!


Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1Taier1.2这两个大的版本更新。


本次发布的Taier1.3版本,我们新增了Flink Standalone组件,融合了DataSourceX的模块,并新增了Python、Shell、ClickHouse、Doris SQL等多种任务,任务数据源绑定,任务支持指定队列运行,并进行了部署优化,同时对官网社区的UI进行了全新的升级改造。


目前新版本已在Github与Gitee上线,同时使用文档也在社区推送,大家可以随时下载查阅,欢迎大家前往体验(喜欢我们的项目欢迎大家点个Star),体验地址:


Github:

https://github.com/DTStack/Taier


Gitee:

https://gitee.com/dtstack_dev_0/taier


社区官网:

https://dtstack.github.io/Taier/


同时为了方便没有钉钉的开发者们更好的交流Taier开源技术,我们新建了Taier开源技术微信交流群,欢迎大家加入一起探讨开源技术~

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/85036248750ac59e99379e1508f8f07a..png


Taier1.3版本详解


01

新增Flink Standalone

新增Flink Standalone组件,可以通过Flink Standalone使用Flink SQL、数据同步、实时采集等任务相关功能。移除Taier对Hadoop组件的强依赖,支持轻量化的数据处理。


02

DataSourceX融合

Taier融合DataSourceX模块,移除Taier外部插件依赖。新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。


03

新增Python、Shell任务

新增Script组件,支持Python、Shell任务类型,可以在Taier上通过脚本类型任务进行操作。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/bf8e6bfe361b9006246f74fbfe789a3f..jpg


http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/2a906c7eb4ba850716e702f1a66d1861..jpg


04

新增ClickHouse、Doris SQL任务

新增ClickHouse、Doris SQL任务类型,支持数据同步脚本模式到ClickHouse、Doris,再进行任务调度处理。


05

 任务数据源绑定

控制台组件移除SQL类型组件配置,SQL任务直接和数据源互相绑定,支持任务和数据源一对一的执行,将SQL执行域细分到具体的单个数据源。


06

任务支持指定队列运行

Hadoop类型任务支持指定队列运行,队列资源隔离细分到任务级别。


07

部署优化

Taier优化单机部署,优化前后端部署操作,简化docker镜像部署流程,降低上手难度。


08

官网升级

Taier社区新官网上线,UI设计全面升级。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/449221917b982f1798fec3d881e8b2af..jpg


后续版本规划


Taier今年更新了3个大的版本,按照社区规划,后续版本我们计划重点围绕关键点:

● 完善Taier Datasource 模板支持SQL任务

● HadoopMR、Spark Jar、PySpark 任务支持

● 任务告警

● Windows开发环境适配


我们欢迎社区的开发者们一起参与到Taier的版本建设中来,同时大家如果有其他的意见建议也可以给我们提一个Issue或者PR,大家可以来一起探讨怎么更好的共建项目。感兴趣的小伙伴们可以加入我们的技术交流社群,一起交流Taier的技术问题及难点,共建Taier!

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群