回复：

  1. 实现 kafka 元数据持久化可以用两种方法，一种直连 kafka，把 kafka 元数据 映射到 Flink 的 catalog， 另一种是通过自定义 Catalog 存储 kafka 的元数据。
2. 如果针对不同任务，可以用 hint 去添加不同的选项。
3. 权限问题，可以在平台层面做管控。把每个 catalog 的可见性根据租户隔离开。 create catalog ... 这种语句是存在平台业务数据库的。  

0 0

  在平台上使用catalog是需要考虑这个问题的，项目之间哪些catalog是可以共享的（跨项目协同，一个写，另一个读），哪些catalog是私有的。作业提交的时候要注册哪些catalog(还是说先扫描作业获取到catalog名称精准加载注册catalog?)，还得确保catalog不重名不会覆盖，当然你可以说通过帐号来管理，对于一些成熟的数据库系统是可以这样，但像kafka这种通过帐号管理权限就比较困难  

0 0

  我问这个问题的意思是，同一个catalog同一个db的同一张table在不同作业中充当的角色是不同的，在某个作业中是充当sink表，在另一个作业中是充当维表甚至是源表。不同角色的表对于table options参数要求是不同的。而你在XXXCatalog类中定义的getTable方法只能返回公共table options，像比如url,username,password这些，真正应用到作业中的table options需要通过table hints的方式在作业上下文中注入进来  

0 0

对，是否支持发现kafka json元数据，如上图，chunjun-catalog当前支持吗？这个模块有推到github上么？

https://help.aliyun.com/document_detail/428806.html

0 0

  Catalog 是存储元数据的。

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=bbs

同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」，交流最新开源技术信息，群号码：30537511，项目地址：

https://github.com/DTStack/chunjun    

0 0