数据库和离线数仓
数栈君2023-02-23 45:33阅读次数：394
更多数据中台产品介绍： https://www.dtstack.com
相关内容
云原生大数据系统架构的实践和思考
年全球架构师峰会于月日日在上海举办袋鼠云运维开发技术专家沙章利花名浣熊应邀出席此次峰会并在月日下午的弹性架构实践专题会场上为大家带来弹性云原生大数据系统架构实践的演讲本次演讲主要介绍袋鼠云基于数栈结合数年大数据基础设施建设经验打造云环境下的大数据基础设施的实践和案例部分架构细节首次对外公布以下内容整理自本次架构峰会大家好我是来自...
不依赖网络的项目开发
在数字化时代网络已成为我们生活和工作不可或缺的一部分然而在某些特定场景下如偏远地区数据安全要求高的环境或是在网络不稳定的情况下不依赖网络的项目开发显得尤为重要这类项目通常需要在离线状态下运行且能够在没有网络连接时提供核心功能本文将探讨不依赖网络的项目开发的原则挑战以及潜在的解决方案不依赖网络的项目开发首先需要考虑的是如何在没有网...
实践数据湖iceberg ：flink count iceberg，无结果问题
前言表查不出结果问题记录一无结果问题对于分区表数据是通过生成但无法计算条数切换为分别测试都无效二解决思路菜鸟解决法没用就改当时没有安装发现报各种错拉到换很强大直接把结果算回来总结小表几条数据的表能出来什么原因先记录问题看看个月后的自己能否解决内容来源于网络如侵删近日袋鼠云重磅发布数据治理行业实践白皮书白皮书基于袋鼠云在数据治理领...
数据湖数据模型
在当今的大数据时代企业和组织面临着海量数据的管理和分析挑战传统的数据仓库技术已经无法满足这些需求因此越来越多的企业和组织开始采用数据湖作为其数据管理的解决方案数据湖是一种灵活且可扩展的数据存储和处理平台它可以存储大量的结构化和非结构化数据并提供高效的数据分析能力数据湖的数据模型是构建数据湖的重要基础之一它决定了数据湖中数据的组织...
实践数据湖iceberg：iceberg元数据详细解析
一元数据管理概要每次写入都会成一个每次写入都会成一个每个包含着一系列的文件列表读写并发原理基于的机制默认读取文件会从最新的的版本每次写入都会产生一个新的读写相互不干扰精准完善的元数据信息如上图所示信息信息以及文件信息一个包含一系列的信息每个存储了一系列的文件列表列表信息包含了详细的列表产生的操作以及详细记录数文件数甚至任务信息充...
从源码全面解析 ThreadLocal 关键字的来龙去脉
一引言对于开发者而言关于并发编程我们一般当做黑盒来进行使用不需要去打开这个黑盒但随着目前程序员行业的发展我们有必要打开这个黑盒去探索其中的奥妙本期并发编程解析系列文章将带你领略并发编程的奥秘二概念的英文字面意思为本地线程实际上代表的是线程的本地变量可能将其命名为更加容易让人理解如何做到为每个线程存有一份独立的本地值呢一个实例可以...
通过S3与Snowflake结合完成AWS数据中台迁移的数据湖建设
在现代企业数据架构中数据中台迁移是实现高效数据管理和分析的重要步骤通过结合和企业可以构建一个强大的数据湖以支持复杂的数据处理需求本文将深入探讨如何通过与的结合完成数据中台迁移并提供实际操作指南数据中台迁移的关键概念在讨论具体的迁移步骤之前我们需要明确几个关键术语数据中台迁移将企业的数据从现有的数据存储系统迁移到云平台的过程通常涉...
风险量化投研
风险量化投研是一种基于数学和计算机技术的风险管理方法它可以帮助投资经理更好地理解和控制投资风险提高投资收益率下面我们将介绍风险量化投研的概念方法应用场景和优势等方面内容一风险量化投研的概念风险量化投研是一种基于数学和计算机技术的风险管理方法它通过量化和建模投资组合中的风险因素帮助投资经理更好地理解和控制投资风险提高投资收益率风险...
数据湖：从前世到今身的演进与选型探索
当我们回顾数据湖的前世时数据湖的概念在年由提出它打破了传统数据管理的范式提供了一种新的方式来存储处理和分析数据与传统的数据仓库相比数据湖更加灵活和容易扩展能够接收各种类型和格式的数据包括结构化半结构化和非结构化数据数据湖的兴起得益于大数据技术和云计算的发展分布式文件系统等技术为数据湖提供了高可扩展性和容错性同时云计算提供了便捷的...
离线开发篇丨袋鼠云产品更新报告09期
离线开发平台新增功能更新任务模版新增功能说明背景客户希望将日常通用的代码模板在离线中进行维护在进行数据开发时可以直接引用模板与组件的差异模板代码引用后支持编辑组件引用后不支持编辑模板变更后不影响引用的任务组件变更后会影响引用的任务新增功能说明支持各任务类型的项目代码模版租户代码模版在创建任务时支持引用代码模版图片图片新增功能示意...
相关主题
热门产品
@Copyrights 2016-2025 杭州玳数科技有限公司浙ICP备15044486号-1浙公网安备33011002011932号
