1 综述1.1 综述本指导书旨在指导大数据集群使用者在大数据集群小文件较多的情况下，针对小文件进行优化处理，有效减小集群文件对象数目，减缓namenode所承载的压力，减少mapreduce任务扫描文件数。2 关于小文件2.1 什么是小文件小文件是指文件大小明...
数栈君 发表于2024-01-29 11:31
206
0
Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和、Hiv...
数栈君 发表于2024-01-29 11:29
148
0
某烟草集团，集卷烟生产销售、烟草物资配套供应、科研以及多元化经营等为一体，在卷烟产销总量、全国市场覆盖率、国际市场销量等多项指标上均位居行业前列。该集团基于微信服务号运营，策划了以烟包二维码为载体，通过单品活动项目探索了烟草互联网营销的转化路径，初步建立了与渠...
数栈君 发表于2024-01-29 11:25
153
0
1、当时的出现的情况是：执行 top、w、netstat命令的时候，会出现卡住的情况，无法正常使用2、我们上传新的top命令之后，只是看到CPU使用率比较高，但是看不到占用CPU的异常进程3、我们通过perf生成火焰图，发现存在很多异常进程占用CPU资源，这里...
数栈君 发表于2024-01-29 11:19
180
0
01行动计划出台的时代背景2021年10月18日，习近平总书记在十九届中共中央政治局第34次集体学习时强调：发展数字经济是把握新一轮科技革命和产业变革新机遇的战略选择。从2015年出台“互联网+”到当下出台《“数据要素×”三年行动计划（2024—2026年）》...
数栈君 发表于2024-01-26 11:13
155
0
随着信息技术的深入应用，企业对市场的响应速度也在不断提升，而且这种响应速度正在变得越来越快，没有最快只有更快。对数据实时性要求的提高，是眼下很多企业遇到的一个新的挑战。从生产侧的视角来看，系统实时监控与实时健康状态检测已成为确保系统稳定性和可靠性不可或缺的关键...
数栈君 发表于2024-01-26 11:07
473
0
文 | 中央财经大学中国互联网经济研究院副院长、教授 欧阳日辉近日，国家数据局印发《“数据要素×”三年行动计划（2024—2026年）》（以下简称《行动计划》），把握一条主线，做好三方面保障，实施五大举措，推动十二项行动，促进我国数据基础资源优势转化为经济发...
数栈君 发表于2024-01-25 10:17
266
0
岁回律转，2023年，袋鼠云在激浪中乘风破浪、扬帆前行，经历了风雨洗礼，穿越了周期，在行业影响力、市场占有率、生态合作等各方面都取得了不俗的成就。过去的一年，袋鼠云凭借领先的行业经验、优秀的产品能力及过硬的技术实力，签约及续签了众多客户，在金融、大型集团、政府...
数栈君 发表于2024-01-25 10:10
539
0
一、实战概述在本次实战任务中，我们利用Hive大数据处理框架对三个文本文件（ips01.txt、ips02.txt、ips03.txt）中的IP地址进行了整合与去重。首先，在虚拟机上创建了这三个文本文件，并将它们上传至HDFS的/deduplicate/inp...
数栈君 发表于2024-01-24 10:23
119
0
🌹什么是缓存击穿缓存击穿是指在使用缓存系统时，对一个热点数据的高并发请求导致缓存失效，多个请求同时访问数据库，造成数据库压力过大，性能下降。具体来说，缓存击穿通常发生在以下情况下：热点数据失效：当某个热点数据的缓存过期或被删除时，此时如果有大量的并发请求同时访...
数栈君 发表于2024-01-24 10:18
191
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
