数据入湖前的准备工作
前几天，一家企业信息化部门的同事找我交流，他们企业已经完成了数据湖仓的部署，下一步要开展数据入湖工作，那么，在这个阶段，企业需要做哪些准备工作。
我认为，在数据入湖之前，企业要想清楚，数据入湖的目的是什么，然后基于目的，再梳理哪些数据需要入湖。
数据入湖，本质上是为了实现跨系统的数据应用。也就是说，很多数据存储在其他系统中，要查询、甚至是使用这些数据有些麻烦，那么，我们就可以把这些数据都转存到一个统一的地方，需要用的时候，就到那个地方去取。把这个目的想清楚了，我们就能梳理哪些数据需要入湖。数据入湖，不是把所有的业务数据全部都转存到数据湖里，而是基于跨系统的数据应用需求，列出对其他系统的数据需求清单。
比如说，研发部门自己在使用PLM系统，但他们需要获取存储在MRO里的售后数据、存储在CRM中的客户需求数据、存储在QMS里的产品质量数据以及存储在LIMS里的试验过程数据，这些数据都能帮助研发部门持续改进产品设计。而售后服务部门则需要产品全生命周期的数据，比如说从售后服务现场拿到了故障件，我们需要从这个故障件去反查相关的制造信息、采购信息、工艺文件以及设计文件。
这些跨系统的数据需求需要企业去识别，不仅要识别数据，企业还要识别数据之间的关联。比如一个故障件，如何从故障件上贴的零件号和批次号，找出对应的生产计划和报工单，再向前找出对应的工艺文件和设计文件，这些单据之间是通过什么来连接的，比如通过项目号、零件号、构型码等等数据进行连接。如果数据之间的联系是断开的，那么这些数据即使入了湖也毫无意义。