「数据中台」如何利用袋鼠云数据中台提炼数据价值？脱机开发套件包含了与大数据相关的技术，包括数据处理、数据分析、在线查询、即席分析等功能，同时还整合了任务的调度、发布、运行、监控杆、报警等功能，使开发人员能够直接通过浏览器访问，不再需要安装任何服务，也不再需要关注底层技术的实现，只需专注于业务开发，帮助企业快速构建数据服务，赋能业务。

在数据开发过程中，经常需要配置作业的上游依赖操作，这样操作之间就会形成一个有向无环图，同时会配置操作的开始调度时间。
1)依赖调度:所有副作业完成后，当前作业才能开始运行。
2)时间安排:可以指定作业的安排开始时间。
假如一个节点既有父作业又有调度时间的限制，那么在调度过程中只有同时满足才能开始调度。
用于统一管理数据处理操作的完成时间、优先级和报警策略，确保数据处理按时完成。调度模块将根据最初到达和最短执行时间的原则动态调整资源分配和操作优先级，最大限度地利用资源。
脱机开发时，针对每一种计算引擎都会开发不同的组件，在执行过程中会自动根据操作类型找到相应的插件进行操作。
语法检查+规则检查。
可以通过环境联系灵活支持企业的各种环境需求，方便资源和权限的控制和隔离。常见环境如下:
1)单一环境:只有一个生产环境，内部管理简单。
2)经典环境:在开发环境中保存脱敏数据，用于开发测试，生产流程为真实数据生产。
3)复杂环境:企业有外部人员和内部人员时，为外部人员提供脱敏控制环境，外部人员开发的数据模型经过测试后发布到内部开发环境，内部员工检查确认和内部测试验证流程，完成确认后发布。在内部生产、内部开发、外部开发等环境中，数据样本也根据所面向的群体进行不同等级的加密和脱敏处理。
在新项目建设过程中，通常会创建两个环境:开发和生产。开发环境用于用户开发和任务调试。生产环境即在线环境，系统默认每天进行周期调度和执行任务。生产环境不允许用户直接操作任务、资源和方法。在开发环境下，必须建立、修改或删除新的、修改或删除新的、修改或删除新的、提交、创建发布包和统一发布三个操作，然后才能同步到生产环境。
自动推荐上游作业不仅可以确保上游作业的准确定位，还可以确保不会形成环路。
资料权限管理的目的是建立一个统一的权限管理系统来支持多个引擎，可以直接在该系统上进行各种引擎的权限申请、审批和管理，而不需要接触底层引擎的权限管理系统。当与不容引擎匹配时，仍然采用插件设计思路，针对每一个权限，管理系统开发一个插件，并支持用户通过二次开发扩展插件。
数据的价值在于数据的在线化。实时开发套件是对流计算能力的产品包装。实时计算源于对数据处理时效性的严格要求:数据的业务价值会随着时间的推移而迅速下降，因此数据生成后必须尽快计算和处理。
实时计算具有以下特点:
即时无界的数据流：即时计算所面临的计算是即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的，即时的
持续高效的计算:实时计算是一种事件触发的计算模式，触发源是上述无界流数据。一旦新的流数据进入实时计算，实时计算就会启动并执行一次计算任务，所以整个实时计算是持续高效的计算。
流动和实时数据集成:流动数据触发一次实时计算的计算结果，可以直接写入目的存储。例如，计算后的报告数据可以直接写入MySQL报告进行显示。因此，流动数据的计算结果可以像流动数据一样写入目的存储。
元数据(Metadata)，又称中介数据、中继数据，是描述数据的数据(dataaboutdata)，主要是描述数据属性(property)的信息，支持指示存储位置、历史数据、资源搜索、文件记录等功能。元数据是一种电子目录。为了达到编制目录的目的，必须描述和收集数据的内容或特征，从而达到帮助数据检索的目的。
元数据管理可以将topic中对应的元数据信息统一维护到元数据注册中心，解耦数据和元数据。只需将数据存储在topic中。
当进行流量计算时，实时开发将根据topic自动找到相应的元数据信息，从而形成数DataStream，以便随后进行实时计算。
l可以将流量计算作为动态数据表中的持续查询，动态变化的视图也可以作为变化的数据流。鉴于SQL的普遍性，流量计算SQL可以大大节省开发人员的工作量，提高开发效率。将变化的实时数据(如Kafka中不断推送的消息)、较少变化的维度表(如HBase、kudu表数据和csv文本。
将零件、MySQL表等加载到流中，注册为临时视图。与此同时，加工的中间结果也可注册为视图，以便在视图上进行SQL转换处理，最后写入结果表。
「数据中台」如何利用袋鼠云数据中台提炼数据价值？为了更方便地开发流量计算任务，需要将流量计算的输入源、转换逻辑、UDF函数、结果的持久性等封装成组件。开发者可以通过拖动相关组件进行简单的配置和SQL逻辑编写，将任务具体化为流量计算的加工拓扑图，平台负责任务的调度、分析和运行。