离线数据同步写Hive,中途写入失败,会写入一半数据吗
匿名用户
发布于 2023-06-12 09:28
最新回复 2023-06-12 09:41 来自于
数栈君
402
1
1条回答
-
回复于 2023-06-12 09:41
-
不会写入一半,中途失败将不会写入任何数据。写入hive的时候,不是用jdbc写入的,而是直接写hive表对应的一个hdfs地址,直接向这个地址写文件。
写入的时候分2阶段,持续写入的过程中,会写到一个临时目录,待全部写入完成之后,会将数据放到正确的目录里,如果中间失败,会删除临时目录里面的数据
0
0