博客 数栈产品分享:简析数据中台如何通过 DataAPI 实现数据共享

数栈产品分享:简析数据中台如何通过 DataAPI 实现数据共享

   小美   发表于 2023-01-31 16:23  377  0

如果把企业数字化转型比作一辆自行车,那么技术与数据便是这辆车的两个轮子,骑在车上的则是企业战略、文化以及各种资源,它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战术如何高明,其最终结果还是要通过这两个轮子落地。

DT 时代,“大数据” 不是强调量大,是指数据来源多、维度多。现在很多系统的数据没法给第三方用,只有打破这种壁垒,才会产生新的价值。在数智化转型过程中,实现数据开放共享,是企业在 DT 时代实现弯道超车的前提。

一、什么是数据共享服务

数据共享服务可简单概括为将数据中台的数据共享给其他系统,或将某组织的数据共享给其他组织,提供数据的方式也十分多样,如数据库读取、文件传输、API 接口服务等。

如何通过数据 API,对外提供数据服务,进行数据共享呢?

数据 API,通过 RestfulAPI 的形式对外提供数据服务,适用于数据库不直接对外开放,通过接口提供高并发快返回的数据服务场景,如企业内部将数据中台加工的结果数据,通过数据 API 的方式,提供给上层数据应用、数据门户,可视化大屏等;证券公司将股票、债券等行情数据通过数据 API 的方式提供给外部客户;新媒体企业将资讯通过 API 的方式提供给外部客户等,主要解决数据对外快速共享的场景。

二、怎样生成数据服务

按照传统方式,生成 API 接口,往往需要后端开发人员通过 Java 或 Python 等语言进行编写。从开始生成到对外发布,中间再做一些鉴权、限流等,整个流程较长,且一个接口开发完成后,需要测试人员再进行测试验证,整个过程下来,投入成本较高。

以下是传统方式生成数据 API 的流程:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/6885e715cc3b56e8d086e1ed32511c19..png

近几年,在数据中台的浪潮中,大数据平台产品供应也越来越俱全。国内部分优秀的大数据产品供应商,也有标准化的数据共享服务产品,其将数据服务能力进行封装,大部分功能在平台产品内部完成,面向用户的功能只是连接数据源、编写查询逻辑,大幅度缩短 API 流程,并降低开发成本。

利用标准化产品,一般开发流程如下:

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user6/article/2ffe68edc858b197c32781fc53d0f777..png

在 API 生成中,经过以下步骤:

  • API 生成:平台会封装 API 创建能力,用户只需在 WEB 界面上选库选表,设定请求参数、返回参数即可;对于复杂的 API 查询逻辑,有的平台也会提供自定义 SQL 写查询逻辑的模式,满足用户不同场景。
  • API 发布:平台会集成 API 网关,无需用户自己写网关逻辑,API 发布后,会直接发布在 API 网关上,形成 API 市场,对外提供数据服务。
  • API 申请:有需要的用户可直接在 API 申请已发布的 API,管理员进行审批,审批通过后,申请者可拿到 API 的调用地址和请求示例。
  • API 授权:对 API 申请者的申请进行审批;
  • API 管理:对企业来讲,一款标准化的产品提供了一个企业级数据服务统一管理平台与企业级的 API 市场。

在 API 调用流程中,API 网关可以进行鉴权、限流、数据解密等工作。

(一)较于传统化的生成方式,标准化产品能带来什么?

1. 开发效率的提升:将数据 API 开发流程缩短,一个 API 生成只需 3 分钟

2. 人力成本的降低:传统方式需要后端开发写接口,现在只需更熟悉数据的开发,通过写 SQL,就可完成数据 API 的开发。

3. API 接口服务更多的场景:除了用户原有需求外,标准化的产品可带来更多附加功能,如 API、用户限流,API 调用监控等。

4. 企业级 API 市场:实现企业 API 统一管理,统一的 API 市场开放数据服务。

(二)数栈 DTinsight 的 DataAPI 产品正是面向以上场景,提供数据 API 的共享服务。

DataAPI,通过双模式可视化配置生成与注册 API,快速构建 Oneservice 数据服务,形成企业级的 API 市场和 API 服务管理平台,提高数据开放与共享效率。

三、DataAPI 可以做什么

DataAPI 除以上介绍可解决的场景外,还在第三方数据服务、服务监控、数据服务安全深耕较多,提供给客户一个优秀的数据服务产品。

  • 双模式生成 API

通过向导模式、自定义 SQL 模式双模式生成 API 服务,3 分钟可视化完成 API 创建。

  • 第三方服务注册

除在平台上生成 API 服务,支持将原有的 API 服务注册至 DataAPI,进行统一管理、发布至 API 市场,企业所有的 API 服务统一管理。

  • API 调用监控

平台从 API 管理者、API 申请者视角分别提供 API 调用次数、调用日志、错误日志的监控。

  • API 使用权限控制

可控制单个 API 的用户使用权限,调用次数是多少,调用周期是多长。

四、数据服务安全

数据对外服务过程中,数据安全是非常重要的一部分,DataAPI 保障数据安全,主要有三方面:

  • API 调用

API 调用中提供 2 种加密方式,可对用户信息、API 信息、数据信息进行加密,适用于不同安全级别的场景。

  • API 限流

针对 API 单秒调用次数、用户对 API 的调用次数可进行限流,保障数据服务的安全稳定性。

  • 黑白名单 IP 控制

通过设置黑白名单,从 IP 级别控制 IP 的访问。


想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:
https://github.com/DTStack

0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群