博客 走好数据中台最后一公里,为什么说数据服务API是数据中台的标配?

走好数据中台最后一公里,为什么说数据服务API是数据中台的标配?

   小美   发表于 2022-11-22 16:10  459  0

一、数据服务 API 建设背景

在数字化转型的时代背景下,新需求的大量增长、新技术的不断迭代,“互联网化、数字化” 进程的不断深入,越来越多的业务被迁移到互联网上,产生大量的业务交互和对外服务需求,对 API 接口的需求与日俱增,如何快速提升企业数据开放共享能力,是企业面临数字化转型的关键命题。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/1917962a8300962f7d8123d670c89c1c..png

传统的方式如后端开发人员通过 Java 或 Python 等语言进行编写来生成 API 接口,开发周期过长,运维成本太高,已经不能满足企业的需求。企业在数字化转型过程往往面临诸多难题:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/a8ee3841ed79f0cd5c2b28b8438d3f06..png

为了更多的解决这些问题,我们在企业开放、共享数据过程中需要确定以下目标:

  • 快速构建 API

  • 系统稳定、数据安全

  • 易于集成使用

  • 授权交付

  • 低成本运维

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/b9cfd14759f8869544acbffa7baf6148..png

二、数据服务平台建设方法论

在分享数据服务平台建设方法论之前,我们先了解一下常见的数据中台应用架构:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/85d5d312be67fbed708474816c1d3e2c..png

数据服务层作为数据中台整体应用架构中处于中间地位,将数据计算层的结果通过数据 API 的形式对外共享给数据应用层。数据服务层主要有 3 个作用:

1、当数据已被整合和计算好之后,需要提供给产品和应用进行数据消费;

2、为了有更好的性能和体验,构建数据服务层,通过接口服务化方式对外提供数据服务;

3、满足应用各种复杂的数据服务需求(简单数据查询服务、复杂数据查询服务、实时数据推送)

而在数据服务层对外提供服务的过程中,经历了从 **“DWSOA”  “OneService”** 的演变过程。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/c26da1cc249cadcc651d6d76b7db583b..png

从 “OneService” 数据服务本身来说,主要是解决异构数据源、重复建设、审计运维困难、理解困难这 4 个问题,通过 “OneService” 服务,实现主题式数据服务、统一且多样化数据服务、跨源数据服务的服务目标。

因此,若想构建一个完整的数据服务平台,需要具备以下 6 个要素:

  • 便捷开发,具备低代码化的开发能力

  • 易于管理,API 管理操作可视化查询 API

  • 易于使用,具备规范化的文档描述信息

  • 安全稳定,服务调用追踪监控、服务使用审计、鉴权等

  • 易于运维,测试、纠查、问题规则配置

  • 性能,负载均衡、高并发

三、基于 OneService 构建数据体系

了解完 “OneService” 理论,接下来为大家分享如何基于 OneService 构建数据体系,主要遵循以下步骤:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/b3f0cfa7b23a10bb21ea6416a1cf01fc..png

● 第一步:API 定义

API 的定义包括:快速配置参数、选择排序字段、API 类型多样性、数据预览、复制字段等方面。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/2f6d9e77056407c241c47b8cbea72510..png

API 的类型又包括生成 API、注册 API、服务分组及服务编排这 4 个方面。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/ad4c128007eb2bd1085d1f17098be871..png

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/60402fea89c9e1c40090857710aa2eaf..png

● 第二步:API 发布

API 的发布包括测试、提交至 API 网关、发布至 API 市场、版本管理这几个方面。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/60c8ec030efe306805d9a7d375bdcdc5..png

● 第三步:API 调用

API 调用包括数据预览、API 申请、审批、下载接口文档、正式调用这几个方面。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/1d421327533ded9906c4db37f922aad0..png

● 第四步:调用监控

业务上:对 API 调用的统计数据进行深入的分析,进而得出关键信息;

技术上:通过 API 调用的统计图表进行分析可以发现,哪些 API 最受欢迎;而哪些几乎无人问津,应该被淘汰;

安全上:对调用 IP、调用次数进行监控,对调用者进行溯源。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/8bc62982f441f7241305d9ccc205df54..png

● 第五步:数据安全

数据安全包括:统一认证鉴权、传输加密、安全组、角色分配、行级权限、调用审批等。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/ebbea07ae8a6f78910345e953066195b..png

上述的数据服务 API 的建设过程,其实正是袋鼠云自研的数栈数据服务 EasyAPI 产品的落地实践过程。

数据服务(EasyAPI),高效的企业级数据服务产品,通过双模式可视化配置生成与注册 API,快速构建 OneService 数据共享服务,形成企业级的 API 市场和 API 服务管理平台,提高数据开放与共享效率。

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/d4714b78fba0ebf6415fc73d831e493c..png

同时产品具备以下特点:

  • 快速构建:配置即开发,支持 0 代码、低代码快速构建 API
  • 安全性高:用户认证、监控、传输加密、API 级别安全策略、行级权限、角色分配、调用申请审批、调用周期次数的限制、黑白名单
  • 灵活度高:“服务编排 “可对不同的 API 进行组合,支持集成 python 进行数据处理、支持 “条件判断” 节点,选择符合条件的分支
  • 配置灵活:横向拓展 API 网关、缓存
  • 低成本运维:采用 Serverless 架构,只需关注 API 本身的业务逻辑,很少考虑运行环境等基础设施

四、API 实施落地案例

接下来我们分享三个使用客户的实际案例,为大家介绍 EasyAPI 如何切实的帮助客户解决问题。

● 金融:某证券公司应用数据服务

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/9d1f3f6f4bcd1fdc5161b783309983a7..png

● 学校:某大学应用数据服务

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/2045fbdd161c38cfe791d26bcc9a9464..png

● 零售:某网络公司应用数据服务

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/b873fc7b613830f5f7bf0bc98ac93fd3..png

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术 群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack/Taier

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群