问答 离线数据同步写Hive,中途写入失败,会写入一半数据吗

离线数据同步写Hive,中途写入失败,会写入一半数据吗

   匿名用户    发布于 2023-06-12 09:28 最新回复 2023-06-12 09:41  来自于   数栈君  402  1
1条回答
数栈君
回复于 2023-06-12 09:41

不会写入一半,中途失败将不会写入任何数据。写入hive的时候,不是用jdbc写入的,而是直接写hive表对应的一个hdfs地址,直接向这个地址写文件。
写入的时候分2阶段,持续写入的过程中,会写到一个临时目录,待全部写入完成之后,会将数据放到正确的目录里,如果中间失败,会删除临时目录里面的数据

0 0
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群