大数据开发

大数据开发

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享 • 数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容：·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储，专注于支持企业的日常运营。它通常整合了来自不同数据源（如ERP、CRM、销售系统等）的数据，通过清洗、转换后存储，... ...查看全部

RabbitMQ篇——RabbitMQ死信队列详细介绍，超详细、超全面的技术点剖析！

网友分享 • 数栈君 发表了文章 • 0 个评论 • 279 次浏览 • 2024-11-14 11:58 • 来自相关话题

死信队列介绍RabbitMQ是一个流行的开源消息队列中间件，它支持多种消息协议，包括AMQP和MQTT等。RabbitMQ的死信队列（Dead Letter Queue）是一种特殊的队列，用于处理无法被消费者正确处理的消息。使用背景： 在实际的应用中，可能会遇... ...查看全部

Kafka 物理存储机制

网友分享 • 数栈君 发表了文章 • 0 个评论 • 140 次浏览 • 2024-11-14 11:50 • 来自相关话题

一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候，管理员指... ...查看全部

RabbitMQ 从原理到实战—golang版本（下）

网友分享 • 数栈君 发表了文章 • 0 个评论 • 209 次浏览 • 2024-11-13 15:57 • 来自相关话题

4.RabbitMQ 四种工作模型实战4.1 Simple模式单发单收，消息的消费者监听消息队列，如果队列中有消息，就消费掉，消息被拿走后，自动从队列中删除生产者端package mainimport ( "github.com/streadway/amqp"... ...查看全部

RabbitMQ 从原理到实战—golang版本（上）

网友分享 • 数栈君 发表了文章 • 0 个评论 • 190 次浏览 • 2024-11-13 14:58 • 来自相关话题

1.MQ1.1 概念MQ（Message Queue，消息队列）是一种用于在分布式系统中实现消息传递和异步通信的技术。它充当了发送方和接收方之间的中间人，用于在应用程序或服务之间传递消息。MQ 允许系统中的不同组件彼此独立运行，而无需直接通信或相互依赖，从而提... ...查看全部

HiveSQL 数据定义语言（DDL）的建表、分区与视图

网友分享 • 数栈君 发表了文章 • 0 个评论 • 171 次浏览 • 2024-11-13 11:09 • 来自相关话题

Hive内、外部表什么是内部表？内部表(Internal table)也称为被Hive拥有和管理的托管表(Managed table)。默认情况下创建的表就是内部表，Hive拥有该表的结构和文件。换句话说，Hive完全管理表（元数据和数据）的生命周期，类似于R... ...查看全部

HiveSQL 数据定义语言（DDL）的基础语法及应用

网友分享 • 数栈君 发表了文章 • 0 个评论 • 190 次浏览 • 2024-11-13 10:21 • 来自相关话题

SQL中DDL语法的作用数据定义语言(Data Definition Language，DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database ( schema ) 、 table、view、ind... ...查看全部

大数据存储平台设计

知识百科 • 沸羊羊 发表了文章 • 0 个评论 • 218 次浏览 • 2024-06-25 10:51 • 来自相关话题

基于大数据的个性化旅游行程规划系统

知识百科 • 数栈君 发表了文章 • 0 个评论 • 474 次浏览 • 2024-05-09 13:48 • 来自相关话题

随着信息技术尤其是大数据技术的迅猛发展，其在旅游行业的应用正逐渐展现出巨大的潜力。传统的旅游行程规划往往面临诸多挑战，如信息来源单一、缺乏个性化服务、响应速度慢以及资源分配不合理等。而基于大数据的个性化旅游行程规划系统能够有效解决这些问题，为游客提供更加精准、... ...查看全部

大数据在电力需求侧管理中的应用与效益分析

知识百科 • 数栈君 发表了文章 • 0 个评论 • 573 次浏览 • 2024-05-09 13:46 • 来自相关话题

随着全球能源消耗的持续增长和环境保护意识的提升，电力需求侧管理（Demand Side Management, DSM）成为电力系统高效运作的重要组成部分。电力需求侧管理指的是通过技术和经济手段调整和控制电力消费的时间、方式和结构，以提高能源效率和经济效益，同... ...查看全部
更多...

揭秘｜来看看袋鼠云数栈内部的数据资产血缘方案设计与实现

产品交流 • 数栈君 发表了文章 • 0 个评论 • 1599 次浏览 • 2023-07-19 16:51 • 来自相关话题

数据资产现在需要接入数栈内部相关应用的时候，支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等，需要支持数栈现有的所有应用任务，最终实现在数据资产平台查看任务的完整应用链路。虽然增加不同的任务，现阶段资产实现的血缘大体上... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流 • 数栈君 发表了文章 • 0 个评论 • 3217 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展，实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持，成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

研产供销数据一体化，解码汽车集团企业的数据治理之道

最佳实践 • 数栈君 发表了文章 • 0 个评论 • 3684 次浏览 • 2023-07-06 11:40 • 来自相关话题

通过对数据质量的持续关注与不断改进，使OTA安全可靠地服务于客户，提升OTA升级成功率，实现“可进化的汽车”“无需到店即可升级”“车辆常用常新”。OTA(Over-The-Air，空中下载技术)，是汽车使用的一种远程无线升级技术。车主只要保持联网的状态，汽车就... ...查看全部

《数据治理行业实践白皮书》正式发布，开辟数据治理新范式（附下载）

技术共享 • 数栈君 发表了文章 • 0 个评论 • 953 次浏览 • 2023-03-01 16:22 • 来自相关话题

近日，作为首届未来数商大会协办单位之一，袋鼠云承办“首届未来数商大会——业数融合创新论坛”，与参会嘉宾共同探讨数据驱动企业业务增长提效的新思路。袋鼠云联合创始人、易知微CEO 宁海元发表主题演讲《数智视融合，构建数字产业生态链，释放数据价值》，并带来了本次论坛... ...查看全部

袋鼠云高教行业数字化转型方案，推进数字化技术和学校教育教学深度融合

最佳实践 • 数栈君 发表了文章 • 0 个评论 • 684 次浏览 • 2023-02-16 09:54 • 来自相关话题

在当前的数字化转型浪潮下，“基础设施、配套设备、应用探索”的数字校园1.0阶段即将步入尾声、亦或已经完结，不同地区和类型的高校通过各类信息化系统和基础设施已经初步实现了业务数字化，整个数字校园的信息基础设施底座已有一定基础、信息时代教育治理新模式正在逐步呈现、... ...查看全部

袋鼠云数栈UI5.0焕新升级，全新设计语言DT Design，更懂视觉更懂你！

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1529 次浏览 • 2023-02-10 10:55 • 来自相关话题

数栈作为袋鼠云打造的一站式数据开发与治理平台，从2016年发布第⼀个版本开始，就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想，坚定不移地⾛国产化信创路线，不断推进产品功能迭代、技术创新、服务细化和性能升级。伴随业务的⻜速发展，数栈设计团队也... ...查看全部

基于数据中台的大数据治理，数字化运营组织

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1262 次浏览 • 2023-01-13 10:09 • 来自相关话题

1在互联网企业，业务和数据团队是无缝衔接的。本身互联网企业的业务运营对技术和数据就是极度的依赖，所以业务的同学对技术和数据具有天生的敏感性。基于这个前提，业务团队对数据团也是非常直接的喊着“要、要、要”。在这样的场景下，说明业务团队能够明确地提出数据需求，且数... ...查看全部

大数据开源讲解：基于Apache Calcite框架的SQL语法扩展探索

技术共享 • 数栈君 发表了文章 • 0 个评论 • 1833 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部
没有更多了...

taier的datasourcex下能看到mongodb插件，就是添加mongodb数据源测试链接报错

回复

Taier • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 1156 次浏览 • 2023-01-10 10:02 • 来自相关话题

1.12.7版本的，断点续传加hdfs路径的命令改成什么了？

回复

ChunJun • 匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 586 次浏览 • 2022-12-28 19:19 • 来自相关话题

没有更多了...

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享 • 数栈君 发表了文章 • 0 个评论 • 38 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容：·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储，专注于支持企业的日常运营。它通常整合了来自不同数据源（如ERP、CRM、销售系统等）的数据，通过清洗、转换后存储，... ...查看全部

RabbitMQ篇——RabbitMQ死信队列详细介绍，超详细、超全面的技术点剖析！

网友分享 • 数栈君 发表了文章 • 0 个评论 • 279 次浏览 • 2024-11-14 11:58 • 来自相关话题

死信队列介绍RabbitMQ是一个流行的开源消息队列中间件，它支持多种消息协议，包括AMQP和MQTT等。RabbitMQ的死信队列（Dead Letter Queue）是一种特殊的队列，用于处理无法被消费者正确处理的消息。使用背景： 在实际的应用中，可能会遇... ...查看全部

Kafka 物理存储机制

网友分享 • 数栈君 发表了文章 • 0 个评论 • 140 次浏览 • 2024-11-14 11:50 • 来自相关话题

一个商业化消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候，管理员指... ...查看全部

RabbitMQ 从原理到实战—golang版本（下）

网友分享 • 数栈君 发表了文章 • 0 个评论 • 209 次浏览 • 2024-11-13 15:57 • 来自相关话题

4.RabbitMQ 四种工作模型实战4.1 Simple模式单发单收，消息的消费者监听消息队列，如果队列中有消息，就消费掉，消息被拿走后，自动从队列中删除生产者端package mainimport ( "github.com/streadway/amqp"... ...查看全部

RabbitMQ 从原理到实战—golang版本（上）

网友分享 • 数栈君 发表了文章 • 0 个评论 • 190 次浏览 • 2024-11-13 14:58 • 来自相关话题

1.MQ1.1 概念MQ（Message Queue，消息队列）是一种用于在分布式系统中实现消息传递和异步通信的技术。它充当了发送方和接收方之间的中间人，用于在应用程序或服务之间传递消息。MQ 允许系统中的不同组件彼此独立运行，而无需直接通信或相互依赖，从而提... ...查看全部

HiveSQL 数据定义语言（DDL）的建表、分区与视图

网友分享 • 数栈君 发表了文章 • 0 个评论 • 171 次浏览 • 2024-11-13 11:09 • 来自相关话题

Hive内、外部表什么是内部表？内部表(Internal table)也称为被Hive拥有和管理的托管表(Managed table)。默认情况下创建的表就是内部表，Hive拥有该表的结构和文件。换句话说，Hive完全管理表（元数据和数据）的生命周期，类似于R... ...查看全部

HiveSQL 数据定义语言（DDL）的基础语法及应用

网友分享 • 数栈君 发表了文章 • 0 个评论 • 190 次浏览 • 2024-11-13 10:21 • 来自相关话题

SQL中DDL语法的作用数据定义语言(Data Definition Language，DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database ( schema ) 、 table、view、ind... ...查看全部

大数据存储平台设计

知识百科 • 沸羊羊 发表了文章 • 0 个评论 • 218 次浏览 • 2024-06-25 10:51 • 来自相关话题

基于大数据的个性化旅游行程规划系统

知识百科 • 数栈君 发表了文章 • 0 个评论 • 474 次浏览 • 2024-05-09 13:48 • 来自相关话题

随着信息技术尤其是大数据技术的迅猛发展，其在旅游行业的应用正逐渐展现出巨大的潜力。传统的旅游行程规划往往面临诸多挑战，如信息来源单一、缺乏个性化服务、响应速度慢以及资源分配不合理等。而基于大数据的个性化旅游行程规划系统能够有效解决这些问题，为游客提供更加精准、... ...查看全部

大数据在电力需求侧管理中的应用与效益分析

知识百科 • 数栈君 发表了文章 • 0 个评论 • 573 次浏览 • 2024-05-09 13:46 • 来自相关话题

随着全球能源消耗的持续增长和环境保护意识的提升，电力需求侧管理（Demand Side Management, DSM）成为电力系统高效运作的重要组成部分。电力需求侧管理指的是通过技术和经济手段调整和控制电力消费的时间、方式和结构，以提高能源效率和经济效益，同... ...查看全部
没有更多了...
热门产品
数雁EasyDigit 数栈DTinsight 数驹DTengine 易知微EasyV
解决方案
政务解决方案 港口解决方案 基金解决方案 制造解决方案 保险解决方案 高校解决方案 证券解决方案 文旅解决方案 银行解决方案 大宗商品解决方案
快速入口
合作与生态 开源社区 Github
联系我们

合作咨询 market@dtstack.com

联系电话 400-002-1024

总部地址 杭州市余杭区五常街道阿里巴巴数字生态创新园4号楼袋鼠云

袋鼠云官方订阅号
袋鼠云官方订阅号
热门搜索：
数据中台 企业数据中台 金融数据中台 离线数据中台 数据中台公司 一站式数据中台 数据中台开发 一站式数据开发 数据中台解决方案 大数据分析 数据分析平台 新基建 大数据开发 大数据开发平台 数据化转型解决方案 信创 数据可视化 数字孪生 可视化大屏 数字化转型

友情链接： 易知微 云掣

@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号