在大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范,可以切实提高研发效率,保障数据研发工作有条不紊地运作。而不完善的研发流程,会降低研发效率,增加成本与风险。
数据中台数据开发规范旨在为广大数据研发者、管理者提供规范化的开研发流程指导方法,目的是简化、规范日常的数据中台管理和开发工作,提高工作效率,减少无效与冗余工作,赋能企业、政府更强大的数据掌控力来应对海量增长的业务数据,从而释放更多人力与财力专注于业务创新。
鉴于对日常数据中台开发工作的总结与归纳,将数据中台开发流程抽象为如下几点:
需求阶段:数据产品经理应如何应对不断变化的业务需求。
设计阶段:数据产品经理、数据开发者应如何综合性能、成本、效率、质量等因素,更好地组织与存储数据。
开发阶段:数据研发者如何高效、规范地进行编码工作。
测试阶段:测试人员应如何准确地暴露代码问题与项目风险,提升产出质量。
发布阶段:如何将具备发布条件的程序平稳地发布到线上稳定产出。
运维阶段:运维人员应如何保障数据产出的时效性和稳定性。
具体开发流程
需求:与运营产品讨论需求。业务方把需求提交到JIRA,并且和产品沟通过。
PRD评审:产品评审PRD文档。
技术方案讨论:最好是负责人先沟通一个初级的方案,然后找大家一起讨论(可能比直接头脑风暴效率搞,根据负责人的经验来讨论);然后找大家一起讨论。
技术设计评审:设计评审叫上测试。
设计评审的原则:评审会议应该是设计方案大家基本认同的前提下,做方案的文档。
设计接口:重点准确描述输入和输出。
设计字段:根据需求定义字段,并确定字段指标和获取来源,建立数据字典。
开发:开分支,写代码。做好测试case的建立,然后自测。
代码review:叫上测试和一个其他开发同学,给出review的结果。目的是让其他同学帮忙review其中的逻辑。
提测:给出提测报告,包括罗列测试点。
上线:提前告知运维,提前申请机器资源,根据业务预估好CPU、存储、带宽等资源。
文档:开发完成后,文档记录一下流程以及提供数据表字段说明,方便重构。