博客 从开发和业务两个方面总结10条数据开发实用技能

从开发和业务两个方面总结10条数据开发实用技能

   数栈君   发表于 2023-06-26 16:00  185  0

开发类

Article 6

关联数据之前,先检查维度表,各维度的值是否有异常,比如null,空值,异常值等等。


Article 5

进行聚合操作后,检查聚合后的数据值是否合理,比如sum求和后的值,找一些已有的数据做核对。


Article 4

left join之后的数据是否有重复,关联字段是否存在一对多的情况,是否符合业务预期。


Article 3

查看上下游指标间的关联关系,是否存在统计相加之后的值和前序依赖对应的不上。


Article 2

重刷数据一定要先新建一个任务,特别是任务由于上有修改表结构导致的任务失败,新建任务,写入临时表进行数据核对后再刷新原任务运行后续依赖。


Article 1

修改表、删除表之前一定要先备份,防止“删库跑路”情况出现。


业务类

Article 4

烟囱式开发,同一个维度在整个数据平台中不一致,维度数据要跟主数据关联起来。


Article 3

过度钻研数据处理技术,忽略业务逻辑,有时候优化一条SQL,也许只是业务逻辑的变通。


Article 2

只管开发和运维任务,不总结。形成团队的wiki进行开发和运维问题处理知识总结,会大大提高团队问题处理效率。


Article 1

忽略数仓对业务成功的支持,只关注效率上的提升,“黑猫白猫,只要抓住老鼠就是好猫”,没有被业务认可的数据团队,长久不了。


本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!

《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack

 
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群