大数据技术(入门篇)--- 使用Spring Boot 操作 CDH6.2.0 Spark

认识HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 中的HDFS 是CDH数据系统中的核心存储单元,也是学习其他组件的基础...

   数栈君  发表于2023-07-18 11:56  83  0

监管数据治理治什么?1104、EAST、客户风险系统数据简介

 近年来,随着经济社会数字化发展,商业银行逐步向数字化、智能化转型,监管部门对商业银行数据报送质量也越来越重视。自2020年5月9日工行、农行、中行、建行、交行、邮储、中信、光大8家商业银行因监管标准化数据(EAST)系统数据质量及报送存在违法违规行为,被银保...

   数栈君  发表于2023-07-18 11:55  152  0

数据仓库基础(通俗易懂,好文)数仓概念

  1、数据仓库的概念 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。 数...

   数栈君  发表于2023-07-18 11:55  73  0

Hadoop大数据平台搭建(超详细步骤)

1、在原来虚拟机的基础上再克隆两台虚拟机 (1)右键点击虚拟机,点击管理,点击克隆,此步骤重复两次(2)检查克隆机的ip地址是否与原虚拟机不同,若不同则要修改,我这里在克隆的时候就自动变化了ip地址,故不需要修改2、修改机器名 (1)在...

   数栈君  发表于2023-07-18 11:55  63  0

《Java SE》网络编程基础知识归纳

一、网络基本介绍1、什么是网络通信? 两台设备之间通过网络实现数据传输,将数据通过网络从一台设备传輸到另一台设备。在java.net包下提供了一系列的类或接口,供程序员使用,完成网络通信。2、网络 概念: 两台或多台设备通过一定物理...

   数栈君  发表于2023-07-18 11:55  67  0

Flink cdc 介绍及使用 FlinkCDC读取mysql 及 jdbc 连接参数配置

1. Flink cdc 介绍CDC 的全称是 Change Data Capture ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。CDC 技术...

   数栈君  发表于2023-07-18 11:54  304  0

一文读懂数据要素

最近数据要素这个词不断出现在大数据圈里也同时出现在公众视野。各个研究机构,政府部门都在重点关注数据要素及其作用及发展,并提供各类政策性的指引,那么什么是数据要素呢? 本文将综合目前主流的研究进行归纳整理,从数据要素的定义、政策、发展趋势、困难挑战以及地方...

   数栈君  发表于2023-07-18 11:54  77  0

failed to authenticate user [elastic] 问题解决

1. 问题elasticsearch 突然出现问题Authentication of [elastic] was terminated by realm [reserved] -failed to authenticate user [elastic]2. 网...

   数栈君  发表于2023-07-18 11:53  140  0

Java 17 VS Java 8: 新旧对决,这些Java 17新特性你不容错过

一、Java 17与Java 8的对比Java 17与Java 8是Java版本中的两个重要里程碑。Java 8是Java版本中的一次重大更新,于2014年发布,引入了很多新的特性和功能,包括Lambda表达式、Stream API、函数式接口等。Java 1...

   数栈君  发表于2023-07-17 14:31  170  0

基于Hadoop的豆瓣电影的数据抓取、数据清洗、大数据分析

本研究旨在利用Python的网络爬虫技术对豆瓣电影网站进行数据抓取,并通过合理的数据分析和清洗,将非结构化的数据转化为结构化的数据,以便于后续的大数据分析。具体而言,我们通过分析豆瓣网站的网页结构,设计出规则来获取电影数据的JSON数据包,并采用正态分布的延时...

   数栈君  发表于2023-07-17 14:30  110  0
1363条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群