Hive优化之SQL的优化

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身...

   数栈君  发表于2024-02-05 11:09  108  0

为什么ChatGPT采用SSE协议而不是Websocket?

在探索ChatGPT的使用过程中,我们发现GPT采用了流式数据返回的方式。理论上,这种情况可以通过全双工通信协议实现持久化连接,或者依赖于基于EventStream的事件流。然而,ChatGPT选择了后者,也就是本文即将深入探讨的SSE(Server-Sent...

   数栈君  发表于2024-02-05 11:05  127  0

为什么高性能场景选用Postgres SQL 而不是 MySQL

一、 数据库简介 TLDR; 1.1 MySQL MySQL声称自己是最流行的开源数据库,它属于最流行的RDBMS (Relational Database Management System,关系数据库管理系统)应用软件之一。LAMP中的M指的就是MySQL...

   数栈君  发表于2024-02-05 10:35  93  0

Redis如何多规则限流和防重复提交?

一、简介 市面上很多介绍redis如何实现限流的,但是大部分都有一个缺点,就是只能实现单一的限流,比如1分钟访问1次或者60分钟访问10次这种,但是如果想一个接口两种规则都需要满足呢,我们的项目又是分布式项目,应该如何解决,下面就介绍一下redis实现分布式多...

   数栈君  发表于2024-02-05 10:32  96  0

数据经济,数据要素,数据资源,数据资产入表、数据交易,数据经纪分不清咋办?

在数字经济时代,数据逐渐成为了新的财富。这不仅体现在企业层面,政府和个人也在积极地生成、收集和分析数据,以寻找商业价值和社会效益。数据财政模型的兴起,标志着从传统的以土地资源为核心的经济模型向以数据资产为核心的新模型转变。预测显示,到2025年,中国数据资产的...

   数栈君  发表于2024-02-05 10:24  108  0

谈元数据那些事:分类、功能、关键技术和工具、数据的数据

元数据,或称为"数据之数据",是描述其他数据的信息。虽然这个概念在信息技术日益普及的今天变得广为人知,但其实它的历史可以追溯到图书馆学、档案学和数据库管理等领域的早期发展。最初,元数据被用于帮助组织和索引书籍、文档等,以便人们能更快地找到他们所需要的信息。一、...

   数栈君  发表于2024-02-05 10:22  196  0

最新版Flink CDC MySQL同步MySQL

1.概述Flink CDC 是Apache Flink ®的一组源连接器,使用变更数据捕获 (CDC) 从不同数据库中获取变更。Apache Flink 的 CDC Connectors集成 Debezium 作为捕获数据更改的引擎。所以它可以充分发挥 Deb...

   数栈君  发表于2024-02-05 10:17  135  0

上海数据交易所打造数据资产入表综合服务

记者1月31日从上海数据交易所获悉,近日,依托上海数据交易所构建的全链条数商生态和数据资产入表综合服务,CBD国际集团全资子公司北京商务中心区信链科技有限公司(下称“信链科技”)完成北京市朝阳区国企首单数据资产入表,并建立数据资产化的长效机制。这是上海数据交易...

   沸羊羊  发表于2024-02-02 15:44  118  0

2024中国数据安全十大发展趋势预测

在大数据时代,数据已经成为企业的核心资产。然而,随着数据量的不断增加,数据安全问题也愈发突出。如何保障数据安全,成为企业必须面对的难题。作为中国新一代信息安全技术企业的代表厂商,明朝万达数据安全专家对数据安全领域未来一年的发展趋势进行了预测,旨在帮助企业更好地...

   沸羊羊  发表于2024-02-02 15:42  140  0

Hive优化之监控

Hive是大数据领域常用的组件之一,主要是大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身...

   沸羊羊  发表于2024-02-02 15:39  116  0
1795条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群