kafka实战-消费者offset重置问题

背景背景:当app启动时,会调用 “启动上报接口” 上报启动数据,该数据包含且不限于手机型号、应用版本、app类型、启动时间等,一站式接入平台系统会记录该数据。生产者:“启动上报接口”会根据启动数据发送一条kafka消息,topic“xxx”消费者:“启动处理...

   数栈君  发表于2023-09-15 09:45  445  0

springboot+mybatis实现mysql和oracle多数据源

1.aop+注解方式在实际项目中很多时候会涉及到多个数据库的访问,或者数据库读写分离的形式。下面通过使用 Aspect+注解来实现mysql+oracle的多数据源配置(注意:事务一致性未提供)首先要去oracle官网下载ojdbc的jar包,根据oracle...

   数栈君  发表于2023-09-14 11:08  178  0

使用SQL语句创建存储过程

一、存储过程的创建定义:存储过程是为了完成特定功能的SQL语句集合,存储在数据库中,用户通过指定存储过程的名称并给出参数来执行。优点:1、方便修改。  因为存储过程是存储在数据库中的,如果需要涉及到修改SQL语句,那么数据库专业人员只需要去修改数据库中的存储过...

   数栈君  发表于2023-09-14 11:04  132  0

The MySQL server is running with the --skip-grant-tables option so it cannot execute this state

本文为大家讲解的是mysql错误:The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement解决方法,感兴趣的同学参考下...

   数栈君  发表于2023-09-14 10:54  209  0

恢复HDFS上误删除的文件

1. 通过回收站恢复HDFS 为我们提供了垃圾箱的功能,也就是说当我们执行 hadoop fs -rmr xxx 命令之后,文件并不是马上被删除,而是会被移动到 执行这个操作用户的 .Trash 目录下,等到一定的时间后才会执行真正的删除操作。看下面的例子:$...

   数栈君  发表于2023-09-14 10:50  244  0

Flink多流处理之Broadcast(广播变量)

写过Spark批处理的应该都知道,有一个广播变量broadcast这样的一个算子,可以优化我们计算的过程,有效的提高效率;同样在Flink中也有broadcast,简单来说和Spark中的类似,但是有所区别,首先Spark中的broadcast是静态的数据,而...

   数栈君  发表于2023-09-14 10:48  503  0

Spring Boot 整合kafka消费模式AckMode以及手动消费

依赖管理在pom.xml文件中导入依赖     <dependency>         <groupId>org.springframework.boot</groupId>         <artifa...

   数栈君  发表于2023-09-14 10:27  354  0

Hadoop-yarn-未授权访问漏洞

0.漏洞描述Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目录浏览甚至命令执行等...

   数栈君  发表于2023-09-13 10:37  190  0

Redis与MySQL双写一致性如何保证

🔔什么是双写一致性?指的是当我们更新了数据库的数据之后redis中的数据 也要同步去更新。使用redis读取数据的流程,当用户访问数据的时候,会先从缓存中读取数据,如果命中缓存的话,那么直接把缓存中的数据返回给用户,如果缓存中没有数据的话,先查询数据库把查询到...

   数栈君  发表于2023-09-13 10:32  140  0

Spark常见错误剖析与应对策略

问题一:日志中出现:org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0原因分析:shuffle分为shuffle wri...

   数栈君  发表于2023-09-13 10:13  488  0
1765条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群