文件系统的基本概述文件系统定义：文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易。文件名：在文件系统中，文件名是用于定位存储位置。元数据（Metadata）：保存文件属性的数据，如文件名，文件长度，文件所属用户组，文件存储位置等。数据块（...
数栈君 发表于2023-06-02 16:03
170
0
初识 Hadoop为了解决大数据中海量数据的存储与计算问题，Hadoop 提供了一套分布式系统基础架构，核心内容包含HDFS ( Hadoop Distributed File System, 分布式文件系统)、MapReduce计算引擎和YARN (Yet ...
数栈君 发表于2023-06-02 16:01
192
0
前言 HDFS分布式文件系统作为现在事实上的大数据存储组件，了解其原理是很有必要的。本文翻译了经典的 HDFS 原理讲解漫画，以一种通俗易懂的方式帮助 HDFS 初学者理解HDFS 的原理。HDFS角色NameNode：负责处理Client的请求...
数栈君 发表于2023-06-02 16:01
215
0
Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，它能让用户轻松地开发处理海量数据的应用程序，其主要优点有：高可靠性：Hadoop 按位存储和处理数据的能力值得人们信赖。高扩展性：Hadoop 在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可...
数栈君 发表于2023-06-02 16:00
264
0
5月28日，为期3天的2023中国国际大数据产业博览会落下帷幕。数博会由国家发展和改革委员会、工业和信息化部、国家互联网信息办公室、贵州省人民政府共同主办。本届数博会坚持“数据创造价值 创新驱动未来”的大会主题，以“数实相融 算启未来”为年度主题，开展丰富多彩...
数栈君 发表于2023-06-02 15:58
367
0
近日，德邦证券与袋鼠云达成深度合作，旨在共同推动大数据应用在金融领域的发展。本次合作主要涉及大数据平台建设、大数据组件运维保障等方面，以提高德邦证券的数据分析和决策能力。在合作过程中，双方积极探讨了包括数据湖、湖仓一体、流批一体等前沿技术方案，共建金融行业数据...
数栈君 发表于2023-06-02 15:56
358
0
01构建流批一体引擎的挑战目前，流和批仍然是相对割裂的。虽然我们在应用层统一了，但从接入层开始，不同的引擎依旧有不同的接入层、API 层、执行层。我们认为，统一的流批一体引擎应该是从接入层开始使用 SQL Gateway 作为接入层。在 API 层使用 Fli...
数栈君 发表于2023-06-01 17:18
282
0
Hybrid Shuffle 的优势分析相比于传统的批式 Shuffle, Hybrid Shuffle 主要具备以下优势：调度：Hybrid Shuffle 打破了 Pipelined Shuffle 所有 Task 必须同时调度，Blocking Shuf...
数栈君 发表于2023-06-01 17:15
220
0
01什么是数据中台2015年，阿里正式数据中台的概念，并在集团战略的层面去推进，其来源于芬兰游戏公司supercell“大中台小前台的”组织特点。supercell人数不到200，在2015年成为全球营收最高的游戏公司，其推出的四款遊戲：《部落冲突》（Clas...
数栈君 发表于2023-06-01 17:08
184
0
阿里提出了“大中台，小前台”，其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部，数据技术及产品部应是数据中台建设的核心部门。那么，数据中台到底是什么？具体包含哪些内容？跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？阿里数...
数栈君 发表于2023-06-01 17:02
222
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
