在过去的很长一段时间,大数据领域中构建可扩展的分布式应用框架中,Apache Hadoop 占据的是绝对的统治地位。 目前绝大多数大数据平台都是基于 Hadoop 生态构建,使用 YARN 作为核心组件进行资源管理与资源调度,但是这些大数据平台普遍都会存在资源...
2022 年 4 月 16 日,神十三在东风着陆场预定区域成功着陆。接下来从 5 月开始,我国还将进行 6 次飞行任务,在今年内完成中国空间站的在轨建造。而以目前情况推测,在国际空间站退役后,中国空间站将极可能在相当一段时间内,成为世界唯一一个空间站。网友纷纷...
金融业天然就是一个经营数据的行业,一直对数字技术保持高度重视,是数字化转型最早和数字技术应用最广的行业之一。在金融和技术融合过程中,数据治理是关键。当前金融数据治理已由过去局部数据管理,发展到统筹数据整合、智能应用、数据驱动决策和数据开放融合,这对金融数据治理...
弹指之间,时光已步入2023年。在过去的一年里,作为数字化浪潮的弄潮儿,袋鼠云积极投身其中,用专业、稳健书写这一年,创造了许多闪光时刻。接下来,我们将推出系列回顾,从大事件、荣誉资质、签约客户、生态成果等层面,为大家一一呈现,我们的“2022年成绩单”。一月:...
随着大数据时代的发展,海量数据和多种业务的实时处理需求激增,比如:实时监控报警系统、实时风控系统、实时推荐系统等,传统的批处理方式和早期的流式处理框架因其自身的局限性,难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在过去的几年里,从...
数据指标就是将大数据之“大”的精髓给提炼出来,展现每日观察数据的使用者最迫切想要看到的统计量。数据指标体系并不是第三方服务公司的专利,只要对埋点科学地进行数据采集,每个成型的互联网公司都可以自己搭建数据指标体系。数据之大,很多时候人们并不知从哪里着手,甚至弄不...
一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是 T+1 天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为...
信创发展作为国家经济化转型的关键,是国家把握新一轮科技革命和产业变革机遇的战略选择,以自主可控为核心需求,在基础硬件、基础软件、应用软件和信息安全方面,通过国产研发实现原创替代,从根本改变核心技术受制于人的局面。一、金融信创发展将迎全面爆发期金融是现代经济的命...
年底啦~2022 年即将走到尾声,不过袋鼠云对产品品质的坚持始终如一,这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如新增任务告警,进行了 Connector 相关功能优化,以及支持跨时间分区圈群等。以下为袋鼠云产品功能更新报告第三期内...
数据资产背景介绍随着企业数字化转型的深入,数据体量爆炸式增长,如何控制数据生产成本、发现有价值的数据,提高数据ROI,成了企业数字化转型中后期的关键任务,这也是数据资产管理的终极目标。而在数字化转型过程中并不是一帆风顺,往往会遇到很多问题。如何控制生产成本、发...