Hive截取指定位子或字符后面的数据

Hive截取指定字符后面的数据一、规则1、样例数据Hive.Spark.Flink.HadoopJava.Python.Scala2、题目要求截取最后一个’.'后面的数据3、结果预览HadoopScala二、思路方法1使用substr()函数,在通过instr...

   数栈君  发表于2023-09-18 10:00  306  0

Spark参数配置和调优,Spark-SQL、Config

一、Hive-SQL / Spark-SQL参数配置和调优#设置计算引擎set hive.execution.engine=spark;#设置spark提交模式set spark.master=yarn-cluster;#设置作业提交队列set spark.y...

   数栈君  发表于2023-09-18 09:47  431  0

Kafka指定分区消费及consumer-id,client-id相关概念解析

一、问题描述  使用的代码如下,出现问题后使用kafka-consumer-groups.sh脚本查看,发现consumer-id,host,client-id均为空,这是很不正常的,于是搜索相关,在这篇博客找到了原因,(https://blog.csdn.n...

   数栈君  发表于2023-09-15 10:34  496  0

基于 Zookeeper 实现服务注册和服务发现

简介ZooKeeper官网在分布式系统中,服务注册与发现是一项重要的技术,本文提供Java代码基于ZooKeeper来实现的服务注册与发现的功能.服务注册package com.fanqiechaodan.service;import org.apache.z...

   数栈君  发表于2023-09-15 10:31  247  0

Mybatis新增数据,存在就更新,不存在就添加,Mysql避免重复插入数据的4种方式

 insert ignore into即插入数据时,如果数据存在,则忽略此次插入,前提条件是插入的数据字段设置了主键或唯一索引,测试SQL语句如下,当插入本条数据时,MySQL数据库会首先检索已有数据(也就是idx_username索引),如果存在,则忽略本次...

   数栈君  发表于2023-09-15 10:30  932  0

Mysql报错:too many connections原因及解决方法

1、原因是mysql连接数过多解决方案:1、linux登录mysql: mysql -u root -p;2、查看mysql允许的最大连接数show variables like '%max_connections%';3、查看这次mysql服务启动到现在,同...

   数栈君  发表于2023-09-15 10:29  249  0

Rabbit health check failed

o.s.b.a.amqp.RabbitHealthIndicator [] - Rabbit health check failed说明:项目并未配置rabbitmq,但是每次项目启动的时候总是会报错,rabbitmq连接异常,健康检查失败,但是不影响项目运行...

   数栈君  发表于2023-09-15 10:13  240  0

flink sql checkpoint 调优配置

- `execution.checkpointing.interval`: 检查点之间的时间间隔(以毫秒为单位)。在此间隔内,系统将生成新的检查点SET execution.checkpointing.interval = 6000;- `execution....

   数栈君  发表于2023-09-15 10:11  684  0

Hive-时间日期&trunc-日期与数字截取函数

一、时间日期函数1、获取当前时间1、current_timestamp() -- 获取时间         2022-10-09 16:00:24.1892、unix_timestamp() -- 获取时间戳         16653024983、sel...

   数栈君  发表于2023-09-15 10:05  238  0

RabbitMQ --- 消息可靠性

消息队列在使用过程中,面临着很多实际问题需要思考:  一、消息可靠性消息从发送,到消费者接收,会经理多个过程:  其中的每一步都可能导致消息丢失,常见的丢失原因包括:    ●发送时丢失:        ●生产者发送的消息未送达exchange        ...

   数栈君  发表于2023-09-15 10:04  176  0
1765条数据,每页显示10条
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群