分析记录一次线上问题发现有个别的topic 数据过期不清理 topic retention设置是10d server等日志也没发现异常日志现象 ●磁盘使用率告警 查看磁盘分区大小 发现了几个特别大 ●去分区下面查看segment 发现有超过10d前...
数栈君 发表于2023-09-08 11:40
114
0
🔎Redis—特性MySQL 主要是通过 “表” 的方式组织存储数据 → 关系型数据库Redis 主要是通过 “键值对” 的方式组织存储数据 → 非关系型数据库In-memory data structures—在内存中存储数据在内存中存储数据Redis 通过...
数栈君 发表于2023-09-07 10:51
60
0
0.1主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决 ●海量数据存储问题 ●高并发写的问题使用分片集群可以解决上述问题，如图: 分片集群特征： ●集群中有多个master，每个master保存不同数据 ●每个ma...
数栈君 发表于2023-09-07 10:49
60
0
现象1：IPVS：rr：TCP 10.68.0.2：53 - no destination available●节点状态：NotReady●服务器不断打印：IPVS：rr：TCP 10.68.0.2：53 - no destination availableI...
数栈君 发表于2023-09-07 10:44
363
0
1．聚合函数聚合函数实现数据的统计计算，用于计算表中的数据，返回单个计算结果。聚合函数包括COUNT、SUM、AVG、MAX、MIN等函数，下面分别介绍。（1）COUNT函数COUNT函数用于计算组中满足条件的行数或总行数。语法格式：COUNT ( { [ A...
数栈君 发表于2023-09-07 10:31
64
0
1. Hadoop压缩概述 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。 压缩性能的比较： 2. Hive文件格式为H...
数栈君 发表于2023-09-07 10:29
68
0
我平时使用数据库很少会有赋权的操作，但是最近有个场景需要给某个用户设置只能操作哪些数据库和表还有序列。我分享一下我的经验，我用的是 PostgreSQL 数据库。赋权命令语法PostgreSQL 中的赋权命令是 GRANT 和 REVOKE。GRANT 命令用...
数栈君 发表于2023-09-07 10:04
100
0
原数据，表名：explode_test，列名：sale_info。 [{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"}，{"source":"jdmart","mont...
数栈君 发表于2023-09-06 10:18
73
0
Kafka ui序kafka 本身没有自带相关的 ui 界面，但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲，我们一般还是会借助其他软件，实现对 kafka ...
数栈君 发表于2023-09-06 10:10
281
0
1. lateral view 简介 hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的...
数栈君 发表于2023-09-06 10:03
119
0
@Copyrights 2016-2023 杭州玳数科技有限公司 浙ICP备15044486号-1 浙公网安备33011002011932号
