数据开发技术的3个方向未来数据开发技术方向，我认为有三个，首先是流批一体成为主流开发模式，其次是代码自动化技术走向成熟，第三是 OLAP Cubes 终将衰落。一、流批一体成为主流开发模式先说说我看到的数据开发的历史。“远古”时代，通过写 SQL 脚本抽取 O...
数栈君 发表于2023-06-26 15:59
294
0
一、背景在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。数...
数栈君 发表于2023-06-26 15:43
357
0
一、填空题 1．反映发展趋势的可视化图表有___________、____________和_____________。 2．___________是指发现并纠正数据文件中可识别错误的最后一道程序，是对数据的完整性、一致性和准确性进行重新审查和校验的过程。 ...
数栈君 发表于2023-06-25 11:59
917
0
神经网络简介神经网络是一种计算模型，它受到人脑处理信息的生物神经网络过程的启发。人工神经网络(ANN)一般也称为神经网络(Neural Network,NN)。 神经网络是由多个神经元组成的，每个神经元都有一个输入和一个输出，它们之间通过权重进行连接。当输入...
数栈君 发表于2023-06-25 11:58
235
0
一、数据库1.简介数据库因数据处理的需要而产生。例如，在20世纪60年代后期，美国为了战争的需要，将各种情报收集在一起，存储隐藏在计算机内，这就是数据库的起源。随着计算机技术的发展，数据库从文件系统阶段发展为数据库阶段，再到高级数据库阶段。现在，数据库已经广泛...
数栈君 发表于2023-06-25 11:52
258
0
Apache Hudi 是一款开源的数据湖解决方案，它能够帮助企业更好地管理和分析海量数据，支持高效的数据更新和查询。并提供多种数据压缩和存储格式以及索引功能，从而为企业数据仓库实践提供更加灵活和高效的数据处理方式。在金融领域，企业可以使用 Hudi 来处理大...
数栈君 发表于2023-06-21 14:10
1431
0
我们上几篇文章讲解了 IOC、AOP的源码实现，如果没有看过的同学可以去看一下：Spring IOC 源码剖析Spring AOP 源码剖析如果上面的文章你已经熟悉了，那么对于循环依赖的理解就会变得很简单，甚至你自己都能够想明白整个运行原理我们首先介绍一下循环...
数栈君 发表于2023-06-21 10:59
199
0
一、拉链表概念 拉链表是一种数据模型，主要是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。拉链表可以避免按每一天存储所有记录造成的海量存储问题，同时也是处理缓慢变...
数栈君 发表于2023-06-20 15:45
307
0
一、搭建前准备1、为各个主机设置主机名2、为各个主机配置SSH免密登录3、为各个主机安装JDK4、假设有三台主机：master(主节点)、slave1(从节点)、slave2(从节点)。二、安装hadoop集群1、注意Hadoop如果是2.7.X,对应的jdk...
数栈君 发表于2023-06-20 15:44
148
0
代理模式的定义：由于某些原因需要给某对象提供一个代理以控制对该对象的访问。这时，访问对象不适合或者不能直接引用目标对象，代理对象作为访问对象和目标对象之间的中介。举个生活中常见的例子：客户想买房，房东有很多房，提供卖房服务，但房东不会带客户看房，于是客户通过中...
数栈君 发表于2023-06-20 15:42
193
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
