大数据开发

大数据开发

远程Hadoop调试方法及常用工具解析

知识百科数栈君 发表了文章 • 0 个评论 • 52 次浏览 • 2025-10-13 13:01 • 来自相关话题

在大数据时代,Hadoop作为分布式计算框架,广泛应用于企业数据处理和分析中。然而,Hadoop的分布式特性使得调试变得复杂,尤其是在生产环境中。远程调试成为解决这一问题的重要手段。本文将深入解析远程Hadoop调试的方法及常用工具,帮助企业更好地进行Hado... ...查看全部

国企数据中台架构设计与实施路径

知识百科数栈君 发表了文章 • 0 个评论 • 85 次浏览 • 2025-09-17 09:09 • 来自相关话题

国企数据中台架构设计与实施路径国企数据中台是国企数字化转型的重要组成部分,它通过整合企业内部的多源异构数据,实现数据的统一管理和应用,为企业决策提供支持。本文将从国企数据中台的架构设计和实施路径两个方面进行详细解析。一、国企数据中台架构设计国企数据中台架构设计... ...查看全部

数据不Ready,一切AI Ready都是伪命题

产品交流数栈君 发表了文章 • 0 个评论 • 219 次浏览 • 2025-07-11 17:18 • 来自相关话题

2025年随着DeepSeek R1通用大模型的爆火,企业级AI应用元年正式来临。“AI Ready”这个词随之火了起来,但什么是AI Ready?是有了大模型接口,就是Ready?是买了GPU服务器,就能跑出结果?显然不是。在袋鼠云看来,AI Ready不等... ...查看全部

大数据数字孪生

知识百科沸羊羊 发表了文章 • 0 个评论 • 135 次浏览 • 2025-05-28 15:03 • 来自相关话题

大数据技术

知识百科沸羊羊 发表了文章 • 0 个评论 • 161 次浏览 • 2025-05-28 14:16 • 来自相关话题

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 532 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

RabbitMQ篇——RabbitMQ死信队列详细介绍,超详细、超全面的技术点剖析!

网友分享数栈君 发表了文章 • 0 个评论 • 905 次浏览 • 2024-11-14 11:58 • 来自相关话题

死信队列介绍RabbitMQ是一个流行的开源消息队列中间件,它支持多种消息协议,包括AMQP和MQTT等。RabbitMQ的死信队列(Dead Letter Queue)是一种特殊的队列,用于处理无法被消费者正确处理的消息。使用背景: 在实际的应用中,可能会遇... ...查看全部

Kafka 物理存储机制

网友分享数栈君 发表了文章 • 0 个评论 • 438 次浏览 • 2024-11-14 11:50 • 来自相关话题

一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候,管理员指... ...查看全部

RabbitMQ 从原理到实战—golang版本(下)

网友分享数栈君 发表了文章 • 0 个评论 • 555 次浏览 • 2024-11-13 15:57 • 来自相关话题

4.RabbitMQ 四种工作模型实战4.1 Simple模式单发单收,消息的消费者监听消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队列中删除生产者端package mainimport ( "github.com/streadway/amqp"... ...查看全部

RabbitMQ 从原理到实战—golang版本(上)

网友分享数栈君 发表了文章 • 0 个评论 • 453 次浏览 • 2024-11-13 14:58 • 来自相关话题

1.MQ1.1 概念MQ(Message Queue,消息队列)是一种用于在分布式系统中实现消息传递和异步通信的技术。它充当了发送方和接收方之间的中间人,用于在应用程序或服务之间传递消息。MQ 允许系统中的不同组件彼此独立运行,而无需直接通信或相互依赖,从而提... ...查看全部

数据不Ready,一切AI Ready都是伪命题

产品交流数栈君 发表了文章 • 0 个评论 • 219 次浏览 • 2025-07-11 17:18 • 来自相关话题

2025年随着DeepSeek R1通用大模型的爆火,企业级AI应用元年正式来临。“AI Ready”这个词随之火了起来,但什么是AI Ready?是有了大模型接口,就是Ready?是买了GPU服务器,就能跑出结果?显然不是。在袋鼠云看来,AI Ready不等... ...查看全部

揭秘|来看看袋鼠云数栈内部的数据资产血缘方案设计与实现

产品交流数栈君 发表了文章 • 0 个评论 • 2449 次浏览 • 2023-07-19 16:51 • 来自相关话题

数据资产现在需要接入数栈内部相关应用的时候,支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等,需要支持数栈现有的所有应用任务,最终实现在数据资产平台查看任务的完整应用链路。虽然增加不同的任务,现阶段资产实现的血缘大体上... ...查看全部

基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索

产品交流数栈君 发表了文章 • 0 个评论 • 3725 次浏览 • 2023-07-06 11:43 • 来自相关话题

随着业务的发展,实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流,实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持,成为实时场景下的⾸选开发⼯具。FlinkSQL 通过 SQL 语⾔⾯向数据开发... ...查看全部

研产供销数据一体化,解码汽车集团企业的数据治理之道

最佳实践数栈君 发表了文章 • 0 个评论 • 4505 次浏览 • 2023-07-06 11:40 • 来自相关话题

通过对数据质量的持续关注与不断改进,使OTA安全可靠地服务于客户,提升OTA升级成功率,实现“可进化的汽车”“无需到店即可升级”“车辆常用常新”。OTA(Over-The-Air,空中下载技术),是汽车使用的一种远程无线升级技术。车主只要保持联网的状态,汽车就... ...查看全部

《数据治理行业实践白皮书》正式发布,开辟数据治理新范式(附下载)

技术共享数栈君 发表了文章 • 0 个评论 • 1473 次浏览 • 2023-03-01 16:22 • 来自相关话题

近日,作为首届未来数商大会协办单位之一,袋鼠云承办“首届未来数商大会——业数融合创新论坛”,与参会嘉宾共同探讨数据驱动企业业务增长提效的新思路。袋鼠云联合创始人、易知微CEO 宁海元发表主题演讲《数智视融合,构建数字产业生态链,释放数据价值》,并带来了本次论坛... ...查看全部

袋鼠云高教行业数字化转型方案,推进数字化技术和学校教育教学深度融合

最佳实践数栈君 发表了文章 • 0 个评论 • 1051 次浏览 • 2023-02-16 09:54 • 来自相关话题

在当前的数字化转型浪潮下,“基础设施、配套设备、应用探索”的数字校园1.0阶段即将步入尾声、亦或已经完结,不同地区和类型的高校通过各类信息化系统和基础设施已经初步实现了业务数字化,整个数字校园的信息基础设施底座已有一定基础、信息时代教育治理新模式正在逐步呈现、... ...查看全部

袋鼠云数栈UI5.0焕新升级,全新设计语言DT Design,更懂视觉更懂你!

技术共享数栈君 发表了文章 • 0 个评论 • 2273 次浏览 • 2023-02-10 10:55 • 来自相关话题

数栈作为袋鼠云打造的一站式数据开发与治理平台,从2016年发布第⼀个版本开始,就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想,坚定不移地⾛国产化信创路线,不断推进产品功能迭代、技术创新、服务细化和性能升级。伴随业务的⻜速发展,数栈设计团队也... ...查看全部

基于数据中台的大数据治理,数字化运营组织

技术共享数栈君 发表了文章 • 0 个评论 • 1896 次浏览 • 2023-01-13 10:09 • 来自相关话题

1在互联网企业,业务和数据团队是无缝衔接的。本身互联网企业的业务运营对技术和数据就是极度的依赖,所以业务的同学对技术和数据具有天生的敏感性。基于这个前提,业务团队对数据团也是非常直接的喊着“要、要、要”。在这样的场景下,说明业务团队能够明确地提出数据需求,且数... ...查看全部

大数据开源讲解:基于Apache Calcite框架的SQL语法扩展探索

技术共享数栈君 发表了文章 • 0 个评论 • 2669 次浏览 • 2023-01-12 16:36 • 来自相关话题

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite,理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中... ...查看全部

taier的datasourcex下能看到mongodb插件,就是添加mongodb数据源测试链接报错

回复

Taier匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 1969 次浏览 • 2023-01-10 10:02 • 来自相关话题

1.12.7版本的,断点续传加hdfs路径的命令改成什么了?

回复

ChunJun匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 927 次浏览 • 2022-12-28 19:19 • 来自相关话题

远程Hadoop调试方法及常用工具解析

知识百科数栈君 发表了文章 • 0 个评论 • 52 次浏览 • 2025-10-13 13:01 • 来自相关话题

在大数据时代,Hadoop作为分布式计算框架,广泛应用于企业数据处理和分析中。然而,Hadoop的分布式特性使得调试变得复杂,尤其是在生产环境中。远程调试成为解决这一问题的重要手段。本文将深入解析远程Hadoop调试的方法及常用工具,帮助企业更好地进行Hado... ...查看全部

国企数据中台架构设计与实施路径

知识百科数栈君 发表了文章 • 0 个评论 • 85 次浏览 • 2025-09-17 09:09 • 来自相关话题

国企数据中台架构设计与实施路径国企数据中台是国企数字化转型的重要组成部分,它通过整合企业内部的多源异构数据,实现数据的统一管理和应用,为企业决策提供支持。本文将从国企数据中台的架构设计和实施路径两个方面进行详细解析。一、国企数据中台架构设计国企数据中台架构设计... ...查看全部

数据不Ready,一切AI Ready都是伪命题

产品交流数栈君 发表了文章 • 0 个评论 • 219 次浏览 • 2025-07-11 17:18 • 来自相关话题

2025年随着DeepSeek R1通用大模型的爆火,企业级AI应用元年正式来临。“AI Ready”这个词随之火了起来,但什么是AI Ready?是有了大模型接口,就是Ready?是买了GPU服务器,就能跑出结果?显然不是。在袋鼠云看来,AI Ready不等... ...查看全部

大数据数字孪生

知识百科沸羊羊 发表了文章 • 0 个评论 • 135 次浏览 • 2025-05-28 15:03 • 来自相关话题

大数据技术

知识百科沸羊羊 发表了文章 • 0 个评论 • 161 次浏览 • 2025-05-28 14:16 • 来自相关话题

大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

网友分享数栈君 发表了文章 • 0 个评论 • 532 次浏览 • 2025-01-10 10:11 • 来自相关话题

章节内容上节我们完成了如下的内容:·自定义拦截器(续接上节) 编写代码·日志采集小结整体结构ODS层ODS的定义ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,... ...查看全部

RabbitMQ篇——RabbitMQ死信队列详细介绍,超详细、超全面的技术点剖析!

网友分享数栈君 发表了文章 • 0 个评论 • 905 次浏览 • 2024-11-14 11:58 • 来自相关话题

死信队列介绍RabbitMQ是一个流行的开源消息队列中间件,它支持多种消息协议,包括AMQP和MQTT等。RabbitMQ的死信队列(Dead Letter Queue)是一种特殊的队列,用于处理无法被消费者正确处理的消息。使用背景: 在实际的应用中,可能会遇... ...查看全部

Kafka 物理存储机制

网友分享数栈君 发表了文章 • 0 个评论 • 438 次浏览 • 2024-11-14 11:50 • 来自相关话题

一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。Kafka的基本存储单位是分区。在配置Kafka的时候,管理员指... ...查看全部

RabbitMQ 从原理到实战—golang版本(下)

网友分享数栈君 发表了文章 • 0 个评论 • 555 次浏览 • 2024-11-13 15:57 • 来自相关话题

4.RabbitMQ 四种工作模型实战4.1 Simple模式单发单收,消息的消费者监听消息队列,如果队列中有消息,就消费掉,消息被拿走后,自动从队列中删除生产者端package mainimport ( "github.com/streadway/amqp"... ...查看全部

RabbitMQ 从原理到实战—golang版本(上)

网友分享数栈君 发表了文章 • 0 个评论 • 453 次浏览 • 2024-11-13 14:58 • 来自相关话题

1.MQ1.1 概念MQ(Message Queue,消息队列)是一种用于在分布式系统中实现消息传递和异步通信的技术。它充当了发送方和接收方之间的中间人,用于在应用程序或服务之间传递消息。MQ 允许系统中的不同组件彼此独立运行,而无需直接通信或相互依赖,从而提... ...查看全部